- Le grand modèle de langage PaLM 2 de Google utilise près de cinq fois plus de données textuelles pour la formation que son prédécesseur, LLM, CNBC a appris.
- En annonçant le PaLM 2 la semaine dernière, Google a déclaré que le modèle est plus petit que le PaLM précédent mais utilise une « technologie » plus efficace.
- Le manque de transparence sur les données de formation dans les modèles d’IA est devenu un sujet de plus en plus brûlant parmi les chercheurs.
Sundar Pichai, PDG, Alphabet Inc. , lors de la Google I/O Developers Conference à Mountain View, en Californie, le mercredi 10 mai 2023.
David Paul Morris | bloomberg | Getty Images
CNBC a appris que le nouveau grand modèle de langage de Google, que la société a annoncé la semaine dernière, utilise près de cinq fois plus de données de formation que son prédécesseur de 2022, ce qui lui permet d’effectuer des tâches de codage, de mathématiques et d’écriture créative plus avancées.
PaLM 2, le nouveau modèle LLM (public-use large language) de la société dévoilé à Google I/O, a été formé sur 3,6 billions de jetons, selon des documents internes vus par CNBC. Les jetons, qui sont des chaînes de mots, sont un élément de base important pour la formation LLM, car ils apprennent au modèle à prédire le mot suivant qui apparaîtra dans une séquence.
La version précédente de Google de PaLM, qui signifie Pathways Language Model, a été publiée en 2022 et formée sur 780 milliards de jetons.
Alors que Google était impatient de montrer la puissance de sa technologie d’IA et comment elle pourrait être intégrée dans la recherche, les e-mails, le traitement de texte et les feuilles de calcul, l’entreprise n’était pas disposée à publier le volume ou d’autres détails de ses données de formation. OpenAI, l’innovateur de ChatGPT soutenu par Microsoft, a également gardé secrets les détails du dernier langage LLM appelé GPT-4.
Les entreprises affirment que la raison de l’absence de divulgation est la nature concurrentielle de l’entreprise. Google et OpenAI se précipitent pour attirer les utilisateurs qui pourraient vouloir rechercher des informations à l’aide de chatbots au lieu des moteurs de recherche traditionnels.
Mais alors que la course aux armements en IA fait rage, la communauté des chercheurs réclame plus de transparence.
Depuis la révélation de PaLM 2, Google a déclaré que le nouveau modèle est plus petit que les LLM précédents, ce qui est important car cela signifie que la technologie de l’entreprise devient plus efficace tout en accomplissant des tâches plus complexes. PaLM 2 est formé, selon la documentation interne, sur 340 milliards de paramètres, ce qui est une indication de la complexité du modèle. Le PaLM initial est formé sur 540 milliards de paramètres.
Google n’a pas immédiatement commenté cette histoire.
Google Il a dit Dans un article de blog sur PaLM 2, le modèle utilise une « nouvelle technique » appelée Computational Scale Optimization. Cela rend le LLM « plus efficace avec de meilleures performances globales, y compris une inférence plus rapide, moins de paramètres de service et un coût de service inférieur ».
En annonçant PaLM 2, Google a confirmé les précédents rapports de CNBC selon lesquels le modèle est formé dans 100 langues et effectue un large éventail de tâches. Il est déjà utilisé pour alimenter 25 fonctionnalités et produits, y compris le chatbot expérimental de la société, Bard. Il est disponible en quatre tailles, de la plus petite à la plus grande : Gecko, Otter, Bison et Unicorn.
PaLM 2 est plus puissant que n’importe quel modèle existant, basé sur des divulgations publiques. LLM sur Facebook s’appelle LLaMA, qui est annoncer En février, il a été formé sur 1,4 billion de jetons. La dernière fois qu’OpenAI a partagé le volume de formation ChatGPT, c’était avec GPT-3, lorsque la société a déclaré avoir formé 300 milliards de codes pendant cette période. OpenAI a publié GPT-4 en mars et a déclaré qu’il montrait des « performances au niveau humain » dans plusieurs tests professionnels.
LaMDA, conversation LLM que Google pied Il y a deux ans et promu en février aux côtés de Bard, il a été formé sur 1,5 billion de jetons, selon les derniers documents consultés par CNBC.
Alors que les nouvelles applications d’IA atteignent rapidement le grand public, le débat sur la technologie sous-jacente augmente également.
Mehdi Elmohamady, chercheur senior chez Google, Il a démissionné en février Sur le manque de transparence de l’entreprise. Mardi, le PDG d’OpenAI, Sam Altman, a témoigné lors d’une audience du sous-comité judiciaire du Sénat sur la confidentialité et la technologie, et a convenu avec les législateurs qu’un nouveau système est nécessaire pour faire face à l’IA.
« Pour une technologie qui est si nouvelle, nous avons besoin d’un nouveau cadre », a déclaré Altman. « Il est certain que des entreprises comme la nôtre ont une grande part de responsabilité dans les outils que nous mettons dans le monde. »
– Jordan Novette de CNBC a contribué à ce rapport.
Il regarde: Sam Altman, PDG d’OpenAI, a appelé à la gestion de l’IA
