Llama 2: (halb) offene Gewichte verändern das Spiel (2023)
Meta veröffentlichte ein fähiges Sprachmodell, dessen Gewichte jeder herunterladen und darauf aufbauen konnte, und rückte die Debatte über 'offene' KI ins Zentrum der Branche.
Im Juli 2023 veröffentlichte Meta Llama 2, eine Familie großer Sprachmodelle in mehreren Größen, samt einer chat-justierten Version. Das Besondere war kein Benchmark-Wert, sondern die Lizenz: Die Modellgewichte wurden zum Download bereitgestellt, kostenlos für die Forschung und, in Grenzen, für die kommerzielle Nutzung.
Was „offene Gewichte” bedeutet
Modelle wie GPT-4 erreicht man nur über eine API. Man schickt Text hinein, bekommt Text zurück, und die eigentlichen Parameter bleiben auf den Servern des Anbieters. Llama 2 war anders: Man konnte die Gewichte beziehen und das Modell auf eigener Hardware laufen lassen, es prüfen und anpassen.
Das eröffnete viel:
- Feinabstimmung. Teams konnten Llama 2 auf eigenen Daten feinabstimmen, um es zu spezialisieren, ohne diese Daten an Dritte zu geben.
- Datenschutz und Kontrolle. Lokaler Betrieb bedeutete, dass sensible Prompts die eigenen Systeme nie verließen.
- Eine gemeinsame Basis. Ein gemeinsamer, fähiger Ausgangspunkt ließ ein ganzes Ökosystem aus Varianten und Werkzeugen darauf wachsen.
Llama 2 war nicht vollständig „Open Source” im strengen Sinn. Seine Community-Lizenz hatte Bedingungen, darunter Grenzen für die größten Plattformen, weshalb viele den genaueren Begriff offene Gewichte bevorzugen.
Der Ökosystem-Effekt
Der Zugang zählte ebenso wie das Modell selbst. Eine Welle feinjustierter Ableger, Werkzeuge und Forschung folgte, vieles davon von Menschen, die ein Modell dieser Größe nie von Grund auf hätten trainieren können. Die Chat-Version wurde mit menschlichem Feedback verfeinert, dieselbe RLHF-Idee wie hinter ChatGPT, und gab der Community einen nutzbaren Assistenten zum Aufbauen statt nur ein rohes Basismodell.
Warum es wichtig ist
Llama 2 brachte eine der prägenden Spannungen der Ära auf den Punkt: geschlossene Spitzenmodelle gegen offene Gewichte. Das eine Lager argumentiert, die mächtigsten Modelle sollten aus Sicherheits- und kommerziellen Gründen streng kontrolliert werden; das andere hält offene Gewichte für einen Weg, Nutzen zu verteilen, Prüfung zu ermöglichen und zu verhindern, dass wenige Firmen die Technik besitzen.
Diese Debatte ist noch offen, doch mit Llama 2 wurde sie unausweichlich, weil es bewies, dass offen verfügbare Modelle gut genug sein können, um zu zählen.