Die längere Version
Ich habe nicht angefangen, LiteLLM, RAG, Gateways und den Rest zu lernen, weil mich das Thema reizte. Ich habe Tokens verschwendet. Jede Frage ging mit der kompletten Werkzeugliste raus, egal ob es um eine VM ging oder um etwas, das ich hätte greppen können. Eine Zeit lang war die Compose-Datei nur eine Liste von Namen, die ich kopiert hatte.
Das Bild, das hängen blieb: Der Chat spricht mit LiteLLM, LiteLLM spricht mit dem Modell. RAG ist kein Gedächtnis. Es ist eine Suche über Notizen, die ich schon geschrieben habe, wieder in den Prompt gestopft, damit das Modell mich zitieren kann, statt zu raten. Die Dateien muss ich selbst laden. Sie aktualisieren sich nicht von allein. Das habe ich gemerkt, als eine alte Antwort zurückkam.
Der Router kam, nachdem ich den Verbrauch gemessen hatte. Schlüsselwörter wählen eine kleinere Werkzeugmenge. Manche zweiteiligen Fragen werden geteilt, damit die zweite Hälfte überhaupt gestellt wird. Das ist String-Vergleich. Ich hatte auf etwas Klügeres gewartet, und das war der Fehler.
Ich brauchte kein schlaueres Modell, um weniger Tokens zu verbrauchen. Ich musste aufhören, die ganze Werkstatt zu schicken, wenn die Frage nur eine Schublade brauchte.