GPT-3: als Skalierung zur Strategie wurde (2020)
OpenAIs Modell mit 175 Milliarden Parametern zeigte, dass ein ausreichend großes Sprachmodell neue Aufgaben aus wenigen Beispielen im Prompt lernen kann, ganz ohne Nachtraining.
2020 veröffentlichte OpenAI GPT-3, ein großes Sprachmodell mit 175 Milliarden Parametern, mehr als hundertmal größer als sein Vorgänger. Der Titel des Papers war bescheiden, „Language Models are Few-Shot Learners”, die Aussage darin war es nicht.
Few-Shot-Lernen
Frühere Modelle waren meist spezialisiert: Um eines gut in Übersetzung oder Zusammenfassung zu machen, wurde es auf einem beschrifteten Datensatz für diese Aufgabe feinjustiert. GPT-3 legte eine andere Arbeitsweise nahe. Weil es ein auf riesigen Mengen Internettext trainierter Transformer war, konnte man oft einfach die Aufgabe im Prompt beschreiben, ihm ein paar Beispiele zeigen, und es folgte dem Muster, ganz ohne Gewichtsänderungen.
Diese Fähigkeit, In-Context- oder Few-Shot-Lernen genannt, ist der Grund, warum die Anweisung zur so zentralen Idee wurde. Plötzlich zählte enorm, wie man fragte, und ein einziges Modell ließ sich zu vielen Aufgaben bewegen, ohne die Kosten, für jede eine eigene Version feinabzustimmen.
Die Wette auf Skalierung
Die eigentliche Botschaft von GPT-3 betraf die Skalierung. Sein Verhalten kam weitgehend daher, dasselbe Grundrezept viel größer zu machen: mehr Parameter, mehr Daten, mehr Rechenleistung. Das Paper dokumentierte, wie die Fähigkeiten mit wachsenden Zahlen tendenziell gleichmäßig zunahmen, und gab Forschung und Industrie ein gemeinsames, fast ökonomisches Argument: Wenn größer verlässlich besser hieß, ließ sich Investition auf Skalierung richten.
Dieses Argument formte das Feld um. Es rechtfertigte die gewaltigen Trainingsläufe und Rechenzentrums-Budgets der Folgezeit und setzte die Erwartung, dass jede neue Generation dramatisch fähiger sein würde als die letzte.
Warum es wichtig ist
GPT-3 wurde nicht als Chat-Produkt für die Öffentlichkeit veröffentlicht. Der Zugang lief über eine API für Entwickler, und eine Weile war es vor allem ein Thema für Menschen, die das Feld genau verfolgten. Doch es legte das Fundament für das, was folgte. Als klar war, dass ein einziges großes Modell offene Sprachaufgaben aus einem Prompt bewältigen konnte, fehlte nur noch eine Oberfläche, die jeder nutzen konnte.
Diese Oberfläche kam zwei Jahre später als ChatGPT, und das Massenpublikum, das sie erreichte, reagierte, ob bewusst oder nicht, auf die Fähigkeiten, die GPT-3 zuerst gezeigt hatte.