Tag: #transformer
-
GPT-4: das Flaggschiff, das die Messlatte hob (2023)
OpenAIs GPT-4 konnte Bilder wie Text lesen und schnitt bei Prüfungen für Menschen gut ab. Es festigte ein hartes kommerzielles Rennen und eine Geheimhaltung, die Forscher beunruhigte.
-
GPT-3: als Skalierung zur Strategie wurde (2020)
OpenAIs Modell mit 175 Milliarden Parametern zeigte, dass ein ausreichend großes Sprachmodell neue Aufgaben aus wenigen Beispielen im Prompt lernen kann, ganz ohne Nachtraining.
-
"Attention is all you need": der Transformer kommt (2017)
Ein Paper von 2017 ersetzte die sequenzielle Mechanik früherer Netze durch reine Aufmerksamkeit. Der Transformer wurde die Architektur hinter fast jedem großen Sprachmodell seither.