Technik nachgeschlagen, mit Quelle und Datum
Inferenz
Kurzdefinition
Die Anwendung eines bereits trainierten Modells auf neue Eingaben, im Unterschied zum Training, bei dem das Modell erst entsteht.
Zwei getrennte Vorgänge
Beim Training werden die Parameter eines Modells aus Beispieldaten bestimmt. Das geschieht in einem abgeschlossenen Durchlauf und ist der aufwendige Teil. Bei der Inferenz bleibt das Modell unverändert: es bekommt eine Eingabe und liefert eine Ausgabe.
Daraus folgt eine Eigenschaft, die häufig missverstanden wird: ein Modell lernt im laufenden Betrieb nicht dazu. Was in einer Sitzung eingegeben wird, ändert seine Parameter nicht. Erscheint ein System dennoch lernfähig, liegt das an Daten, die der Anfrage beigelegt werden, oder an einem späteren Trainingslauf, nicht an der Inferenz selbst.
Was bei der Inferenz zählt
- Latenz: die Zeit bis zur ersten und bis zur vollständigen Antwort. Bei interaktiven Anwendungen entscheidet sie über den Eindruck.
- Durchsatz: wie viele Anfragen ein System gleichzeitig beantworten kann.
- Speicherbedarf: die Parameter müssen für jede Anfrage verfügbar sein. Er bestimmt, welche Hardware überhaupt in Frage kommt.
Anders als das Training fällt Inferenz bei jeder einzelnen Nutzung an. Über die Lebensdauer eines Modells kann sie deshalb die größere Summe ausmachen, obwohl ein einzelner Durchlauf sehr viel weniger kostet als das Training.
Quantisierung
Um Speicherbedarf und Rechenaufwand zu senken, werden Parameter oft in geringerer Zahlengenauigkeit abgelegt, etwa als 8-Bit- statt als 32-Bit-Werte. Das Verfahren heißt Quantisierung. Es verkleinert das Modell deutlich und kann die Ausgabequalität beeinflussen, je nach Verfahren und Modell unterschiedlich stark.