Por qué LiteLLM está en el medio
Me cansé de que cada aplicación hablara una API de modelos un poco distinta. LiteLLM es la pieza aburrida en el medio. La ventana de chat le habla a él. Más adelante, si sumo un modelo más rápido o uno más lento, las aplicaciones no tienen que enterarse. Hoy sigue habiendo sobre todo un modelo local, así que la pasarela es mitad candado y mitad gancho para después. Lo instalé antes de entender del todo para qué. Resultó estar bien.
RAG es búsqueda con más pasos
Yo seguía oyendo «memoria». No lo es. Tomo el markdown que ya mantengo, lo corto en trozos, los convierto en vectores en la misma máquina, y cuando pregunto recupero unos pocos y los meto en el prompt. El modelo entonces tiene mis notas delante. Si olvido volver a indexar después de un cambio, cita con toda seguridad la versión de la semana pasada. No hay actualización mágica.
El índice se queda en el laboratorio. Nada de ese camino es una API en la nube.
El daño lo hacía el prompt
Dar al modelo herramientas de solo lectura sirvió hasta que dejó de servir. Cada pregunta se llevaba la lista completa, aunque preguntara cualquier pavada. Casi nada de ese texto se usaba. Me di cuenta cuando medí tokens en vez de adivinar.
El enrutador es palabras clave y cortes de texto. Ningún modelo clasifica la pregunta. Eso gastaría una inferencia para ahorrar una inferencia. Las preguntas simples reciben un juego más chico. Algunas en dos partes se preguntan en dos veces, misma conversación, para que «ellos» siga apuntando a la primera respuesta. Si no distingue, abre todo y ofrece el catálogo entero.
El marcador es mixto, y eso sirve
Con el modelo chico, las preguntas simples usaron más o menos un tercio menos de tokens de prompt y igual dieron con la herramienta correcta. Las de dos partes usaron más tokens — dos llamadas — pero la segunda mitad se respondió más seguido. Corrí las mismas reglas en un modelo más grande y lo empeoraron. Así que no es una mejora universal. Es un parche para un modelo que contesta la primera mitad y se sienta.
Todavía necesito que el enrutado sea por modelo, y que el índice de conocimiento siga a los documentos. Se puede usar. No está terminado.