LLM

Was ein Sprachmodell tut

Ein Sprachmodell schätzt, wie wahrscheinlich eine Fortsetzung auf einen gegebenen Text ist. Es erzeugt seine Ausgabe Stück für Stück: aus dem bisherigen Text wird das nächste Element bestimmt, dieses wird angehängt, und der Vorgang wiederholt sich. Groß heißt in diesem Zusammenhang, dass das Modell sehr viele Parameter hat und mit sehr großen Textmengen trainiert wurde.

Token

Modelle arbeiten nicht mit Wörtern, sondern mit Token: Zeichenfolgen, die je nach Sprache und Wort einem ganzen Wort, einer Silbe oder wenigen Zeichen entsprechen. Die Zerlegung stammt aus dem Training und ist für ein Modell fest. Deshalb werden Länge und Kosten einer Ein- oder Ausgabe in Token gemessen, nicht in Zeichen.

Kontextfenster

Das Kontextfenster ist die Menge an Token, die ein Modell bei einer Anfrage gleichzeitig berücksichtigen kann. Alles darüber hinaus fließt nicht in die Antwort ein. Wie groß dieses Fenster ist, unterscheidet sich je Modell und ändert sich mit neuen Fassungen.

Training und Inferenz

Zu unterscheiden sind zwei Vorgänge. Beim Training werden die Parameter des Modells aus Daten bestimmt; das geschieht einmal und ist sehr aufwendig. Bei der Inferenz wird das fertige Modell auf eine Eingabe angewendet; das geschieht bei jeder Anfrage. Ein Modell lernt bei der Inferenz nichts dazu.

Grenzen

Ein Sprachmodell bildet ab, welche Fortsetzung plausibel ist, nicht welche Aussage zutrifft. Es kann deshalb flüssige und in sich stimmige Ausgaben erzeugen, die sachlich falsch sind, und es kann Verzerrungen aus seinen Trainingsdaten übernehmen. Sein Wissensstand endet dort, wo die Trainingsdaten enden, sofern ihm nicht zusätzlich Quellen zur Anfrage mitgegeben werden. Prüfbar ist eine Aussage nur an der Quelle, nicht am Modell.