Warum LiteLLM in der Mitte sitzt
Ich hatte die Nase voll davon, dass jede App ein leicht anderes Modell-API spricht. LiteLLM ist das langweilige Stück in der Mitte. Das Chatfenster redet damit. Wenn ich später ein schnelleres oder ein langsameres Modell dazustelle, müssen die Apps das nicht wissen. Heute gibt es immer noch vor allem ein lokales Modell, deshalb ist das Gateway halb Schloss, halb Haken für später. Ich habe es installiert, bevor ich wirklich verstanden habe, wozu. Das war in Ordnung.
RAG ist Suche mit Umwegen
Ich habe ständig „Gedächtnis“ gehört. Ist es nicht. Ich nehme Markdown, das ich sowieso pflege, zerschneide es, bette die Stücke auf derselben Maschine ein, und bei einer Frage hole ich ein paar davon zurück in den Prompt. Das Modell hat dann meine Notizen vor sich. Wenn ich nach einer Änderung das Einlesen vergesse, zitiert es selbstsicher die Version von letzter Woche. Es gibt keine magische Aktualisierung.
Der Index bleibt im Labor. Auf diesem Weg ist keine Cloud-API.
Der Prompt hat den Schaden gemacht
Dem Modell lesende Werkzeuge zu geben half, bis es nicht mehr half. Jede Frage schickte die ganze Werkzeugliste mit, auch bei Kleinigkeiten. Der meiste Text wurde nie benutzt. Das ist mir erst aufgefallen, als ich Tokens gemessen habe, statt zu raten.
Der Router ist Schlüsselwörter und String-Teilung. Kein Modell klassifiziert die Frage. Das würde einen Inferenzlauf ausgeben, um einen zu sparen. Einfache Fragen bekommen einen kleineren Werkzeugkasten. Manche zweiteiligen Fragen werden in zwei Anläufen gestellt, gleiches Gespräch, damit „sie“ noch auf die erste Antwort zeigt. Wenn er nicht unterscheiden kann, öffnet er alles und bietet den ganzen Katalog.
Die Punktzahl ist gemischt, und das hilft
Beim kleinen Modell brauchten einfache Fragen ungefähr ein Drittel weniger Prompt-Tokens und fanden trotzdem das richtige Werkzeug. Zweiteilige Fragen brauchten mehr Tokens — zwei Aufrufe —, aber die zweite Hälfte wurde öfter beantwortet. Dieselben Regeln habe ich auf einem größeren Modell laufen lassen, und sie haben es schlechter gemacht. Das ist also kein universelles Upgrade. Es ist ein Flicken für ein Modell, das die erste Hälfte beantwortet und sich dann hinsetzt.
Ich brauche das Routing noch pro Modell, und der Wissensindex muss den Docs folgen. Nutzbar. Nicht fertig.