Le nouveau robot IA d’Elon Musk, Grok, fait sensation en citant la politique d’utilisation d’OpenAI

[ad_1]

Grok, le modèle de langage d’IA créé par xAI d’Elon Musk, a été largement diffusé la semaine dernière et les gens ont commencé à repérer des problèmes. Vendredi, le testeur de sécurité Jax Winterbourne a tweeté une capture d’écran de Grok niant une requête avec la déclaration suivante : « J’ai bien peur de ne pas pouvoir répondre à cette demande, car elle va à l’encontre de la politique des cas d’utilisation d’OpenAI. » Cela a fait dresser les oreilles en ligne puisque Grok n’est pas créé par OpenAI, la société responsable de ChatGPT, avec laquelle Grok est en mesure de rivaliser.

Il est intéressant de noter que les représentants de xAI n’ont pas nié que ce comportement se produise avec son modèle d’IA. En réponse, Igor Babuschkin, employé de xAI, a écrit : « Le problème ici est que le Web regorge de résultats ChatGPT, nous en avons donc accidentellement récupéré certains lorsque nous avons formé Grok sur une grande quantité de données Web. Ce fut une énorme surprise pour nous. quand nous l’avons remarqué pour la première fois. Pour ce que ça vaut, le problème est très rare et maintenant que nous en sommes conscients, nous allons nous assurer que les futures versions de Grok n’auront pas ce problème. Ne vous inquiétez pas, pas de code OpenAI a été utilisé pour fabriquer Grok.

En réponse à Babuschkin, Winterbourne a écrit : « Merci pour la réponse. Je dirai que ce n’est pas très rare et que cela se produit assez fréquemment lorsqu’il s’agit de création de code. Néanmoins, je laisserai les personnes spécialisées en LLM et en IA intervenir davantage sur ce point. Je ne suis qu’un observateur. »

Une capture d'écran du message X de Jax Winterbourne sur Grok parlant comme s'il s'agissait d'un produit OpenAI.

Cependant, l’explication de Babuschkin semble peu probable à certains experts, car les grands modèles de langage ne crachent généralement pas leurs données de formation textuellement, ce qui pourrait être attendu si Grok remarquait des mentions parasites des politiques d’OpenAI ici ou là sur le Web. Au lieu de cela, le concept de refus d’une sortie basée sur les politiques OpenAI devrait probablement y être spécifiquement formé. Et il y a une très bonne raison pour laquelle cela a pu se produire : Grok a été affiné sur les données de sortie des modèles de langage OpenAI.

« Je me méfie un peu de l’affirmation selon laquelle Grok aurait découvert cela simplement parce qu’Internet regorge de contenu ChatGPT », a déclaré le chercheur en IA Simon Willison dans une interview avec Ars Technica. « J’ai vu de nombreux modèles de pondérations ouverts sur Hugging Face qui présentent le même comportement (se comportent comme s’il s’agissait de ChatGPT), mais inévitablement, ceux-ci ont été affinés sur des ensembles de données générés à l’aide des API OpenAI, ou extraits de ChatGPT lui-même. Je pense qu’il est plus probable que Grok ait été adapté à des instructions sur des ensembles de données incluant la sortie ChatGPT plutôt qu’il s’agisse d’un accident complet basé sur des données Web.

À mesure que les grands modèles de langage (LLM) d’OpenAI sont devenus plus performants, il est de plus en plus courant pour certains projets d’IA (en particulier ceux open source) d’affiner la sortie d’un modèle d’IA à l’aide de données synthétiques, c’est-à-dire des données d’entraînement générées par d’autres modèles de langage. Le réglage fin ajuste le comportement d’un modèle d’IA vers un objectif spécifique, tel que l’amélioration du codage, après une formation initiale. Par exemple, en mars, un groupe de chercheurs de l’Université de Stanford a fait des vagues avec Alpaca, une version du modèle LLaMA 7B de Meta qui a été affinée pour le suivi des instructions à l’aide des sorties du modèle GPT-3 d’OpenAI appelé text-davinci-003.

Sur le Web, vous pouvez facilement trouver plusieurs ensembles de données open source collectés par les chercheurs à partir des résultats de ChatGPT, et il est possible que xAI en ait utilisé un pour affiner Grok dans un objectif spécifique, tel que l’amélioration de la capacité de suivi des instructions. La pratique est si courante qu’il existe même un article de WikiHow intitulé « Comment utiliser ChatGPT pour créer un ensemble de données ».

C’est l’une des façons dont les outils d’IA peuvent être utilisés pour créer des outils d’IA plus complexes à l’avenir, un peu comme la façon dont les gens ont commencé à utiliser des micro-ordinateurs pour concevoir des microprocesseurs plus complexes que ne le permettrait un dessin au stylo et sur papier. Cependant, à l’avenir, xAI pourrait être en mesure d’éviter ce type de scénario en filtrant plus soigneusement ses données d’entraînement.

Même si l’emprunt de résultats à d’autres peut être courant dans la communauté de l’apprentissage automatique (même si cela est généralement contraire aux conditions de service), l’épisode a particulièrement attisé les flammes de la rivalité entre OpenAI et X qui remonte aux critiques d’Elon Musk à l’égard d’OpenAI dans le passé. Alors que la nouvelle se répandait selon laquelle Grok emprunterait peut-être à OpenAI, le compte officiel ChatGPT a écrit : « nous avons beaucoup en commun » et a cité le message X de Winterbourne. En guise de réponse, Musk a écrit : « Eh bien, mon fils, puisque tu as récupéré toutes les données de cette plateforme pour ton entraînement, tu devrais le savoir. »

[ad_2]

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

*