LLaMA 2 : Microsoft isole Google et s’associe au nouveau modèle IA de Meta
La deuxième génération du modèle de langage de Meta pour l’intelligence artificielle arrive cinq mois seulement après la première. Celle-ci est toujours gratuite et open source, mais désormais, la maison-mère de Facebook la développe en partenariat avec Microsoft. Google, avec LaMDA, n’a qu’à bien se tenir.
Contrairement à Google ou à OpenAI, le groupe Meta ne dispose pas encore de son propre outil conversationnel grand public, boosté à l’intelligence artificielle et connu de tous. Mais depuis février, il en possède le langage conversationnel. Autrement dit, le moteur même qui permet ensuite de développer des outils, de la génération de texte à la génération dynamique, en passant par des programmes plus complexes, des résolutions mathématiques, du code, des outils pour la recherche scientifique, et plus encore.
LLaMA 2 vient d’être annoncé par la voie d’un communiqué de presse ce 18 juillet, et il s’agit déjà de la deuxième génération du modèle linguistique. Contrairement aux rumeurs du Financial Times de ces dernières heures, Meta n’a pas mis en accès payant son modèle, qui reste gratuit et open source aux chercheurs et aux entreprises. « Nous incluons les poids du modèle et le code source pour le modèle pré-entraîné et les versions fine-tunées », peut-on lire. Comprenez par les « versions fine-tunées », tous les programmes qui utiliseront le modèle de langage pour une utilisation et des données spécifiques.
L’annonce de la publication à tous de LLaMA 2 arrive une semaine seulement après le déploiement à plus grande échelle (notamment en France) de Bard, l’agent conversationnel de Google censé concurrencer ChatGPT. Le fait que Microsoft choisisse de signer un partenariat avec Meta a son petit effet de surprise, tant le géant de la tech a déjà investi dans OpenAI et utilise également ses services. Google est donc encore un peu plus isolé.
Microsoft, partenaire privilégié
Meta semble plutôt tourné sur une utilisation à des fins professionnelles (ChatGPT planche sur une version adaptée aux pros également) et cela a plu à Microsoft, qui s’est associé pour devenir « un partenaire privilégié ». Pas de commercialisation de LLaMA donc, mais plutôt un nouvel accès aux clients de Microsoft Azure et de son catalogue de modèles d’IA. De la même manière, « LLaMA sera optimisé pour s’exécuter localement sur Windows. Les développeurs Windows pourront utiliser Llama en ciblant le fournisseur d’exécution DirectML via ONNX Runtime », précisait Microsoft dans un communiqué séparé.
Les deux sociétés ont déjà collaboré avec la sortie du framework PyTorch, qui est depuis 2016 l’un des principaux utilisés pour l’entraînement des réseaux neuronaux pour l’IA et le deep learning. Ensuite, les deux se sont associés avec la création de la PyTorch Foundation, lancée en septembre 2022 et qui gère aujourd’hui le framework. Après Microsoft, les clients d’Amazon Web Services (AWS) et de Hugging Face pourront aussi accéder à LLaMA 2.
LLaMA 2 vs LLaMA 1
Si le communiqué de presse ne s’est pas vraiment penché sur les différences entre LLaMA 1 et LLaMA 2, il en est tout autre du site internet du modèle linguistique. Nous apprenons ainsi que la deuxième génération s’est entraînée sur une base de data 40 % plus importante que celle de la première génération. Pour une meilleure compréhension, de meilleures prédictions et une génération de texte plus adaptée, Meta informe que LLaMA 2 a doublé son « context lenght », la longueur de contexte. Il est l’élément qui détermine les performances des résultats, mais pour un modèle de langage, il est aussi l’élément qui rend plus lent le fonctionnement.
Sur le point de la rapidité, Meta a publié plusieurs résultats de ses benchmarks, en les comparant avec les résultats de certains concurrents (Google et OpenAI ne sont pas cités) ainsi que les différentes versions de LLaMA 1. Sur le graphique, MPT fait référence au modèle de langage open source de MosaicML, et Falcon au modèle de langage open source de l’Institut d’Innovation Technologique d’Abu Dhabi, arrivé en juin dernier et qui a particulièrement surpris pour ses performances. Selon Meta, son meilleur modèle à 70B de paramètres serait meilleur que le Falcon à 40B de paramètres.
De février à ce jour, Meta dit avoir reçu 100 000 demandes d’accès à son modèle LLaMA 1. Avec l’intégration et l’association de premier plan avec Microsoft, l’utilisation de LLaMA 2 pourrait se renforcer, sauf si la concurrence comme celle de Falcon ou des modèles de Google et d’OpenAI prennent le dessus. La course continuera d’être la même : proposer des modèles toujours plus entraînés, toujours plus pointu pour des usages spécifiques aux versions « fine-tunées », mais aussi toujours plus légers, pour pouvoir s’intégrer à des machines plus accessibles, y compris dans le monde universitaire et les entreprises.
Source: 01net
