La versión completa
No me puse a aprender LiteLLM, RAG, pasarelas, nada de eso. Estaba tirando tokens. Cada pregunta salía con la lista entera de herramientas, preguntara por una máquina virtual o por algo que podría haber buscado con grep. Durante un tiempo el archivo compose era solo nombres que copiaba.
La imagen que se me quedó: el chat habla con LiteLLM, LiteLLM habla con el modelo. RAG no es memoria. Es una búsqueda sobre notas que ya escribí, metidas otra vez en el prompt para que el modelo me cite en vez de inventar. Esos archivos los cargo yo. No se actualizan solos. Me enteré cuando me devolvió una respuesta vieja.
El enrutador llegó después de medir el desperdicio. Palabras clave eligen un juego más chico de herramientas. Algunas preguntas en dos partes se parten para que la segunda mitad se pregunte de verdad. Es comparación de cadenas. Yo estaba esperando algo más inteligente, y ese fue el error.
No necesitaba un modelo más listo para gastar menos tokens. Necesitaba dejar de mandar el taller entero cuando la pregunta pedía un solo cajón.