Inference (Inferenz)

Einsatz eines trainierten Modells auf neue Eingaben: nach abgeschlossenem Training (Vorwärtslauf, Deployment).

Inference ist Laufzeit-Berechnung: Eingabe einreichen, Vorwärtsdurchlauf, Ausgabe erzeugen Text, Klassen, Embeddings, Aktionen. Eng mit Latenz, Durchsatz und Kosten verknüpft z. B. bei gehosteten LLMs.

Vom Training zu trennen; gelegentlich gibt es Online-Lernen in Spezialfällen produktionsrelevant meist strikte Trennung.