Llama 2 : des poids (presque) ouverts changent la donne (2023)

En juillet 2023, Meta a publié Llama 2, une famille de grands modèles de langage en plusieurs tailles, avec une version réglée pour la conversation. Ce qui le distinguait n’était pas un score de référence, mais la licence : les poids du modèle ont été mis en téléchargement, gratuits pour la recherche et, dans certaines limites, pour un usage commercial.

Ce que signifient les « poids ouverts »

On n’atteint des modèles comme GPT-4 que par une API. Vous envoyez du texte, vous recevez du texte, et les paramètres réels restent sur les serveurs du fournisseur. Llama 2 était différent : on pouvait obtenir les poids et exécuter le modèle sur son propre matériel, l’inspecter et l’adapter.

Cela a débloqué beaucoup de choses :

• Le réglage fin. Des équipes pouvaient affiner Llama 2 sur leurs propres données pour le spécialiser, sans envoyer ces données à un tiers.
• Confidentialité et contrôle. L’exécution locale signifiait que les consignes sensibles ne quittaient jamais les systèmes de l’organisation.
• Une base commune. Un point de départ commun et capable a permis à tout un écosystème de variantes et d’outils de croître par-dessus.

Llama 2 n’était pas pleinement « open source » au sens strict. Sa licence communautaire comportait des conditions, dont des limites pour les plus grandes plateformes, si bien que beaucoup préfèrent le terme plus précis de poids ouverts.

L’effet écosystème

L’accès a compté autant que le modèle lui-même. Une vague de dérivés affinés, d’outils et de recherches a suivi, en grande partie de gens qui n’auraient jamais pu entraîner un modèle de cette taille de zéro. La version de conversation a été affinée par retour humain, la même idée de RLHF que derrière ChatGPT, offrant à la communauté un assistant utilisable sur lequel bâtir plutôt qu’un simple modèle de base brut.

Pourquoi c’est important

Llama 2 a cristallisé l’une des tensions déterminantes de l’époque : modèles de frontière fermés contre poids ouverts. Un camp soutient que les modèles les plus puissants devraient être étroitement contrôlés pour des raisons de sécurité et commerciales ; l’autre soutient que les poids ouverts répartissent les bénéfices, permettent l’examen et empêchent une poignée d’entreprises de posséder la technologie.

Ce débat n’est pas tranché, mais Llama 2 est le moment où il est devenu incontournable, en prouvant que des modèles ouvertement disponibles pouvaient être assez bons pour compter.