Et voilà ChatGPT dans un robot-chien de Boston Dynamics
Des ingénieurs ont trouvé le moyen d’activer ChatGPT dans un robot quadrupède fabriqué par Boston Dynamics. On peut ainsi le diriger à voix haute.
Une intelligence artificielle comme ChatGPT dans un robot fabriqué par Boston Dynamics ? C’est l’idée que des programmeurs ont eu et dont le résultat a été partagé en vidéo sur Twitter. Dans leur démo, un robot-chien de l’entreprise américaine montre qu’il peut recevoir des instructions orales, répondre à haute voix à des questions ou demander ce qu’il doit faire.
We integrated ChatGPT with our robots.
We had a ton of fun building this!
Read on for the details: pic.twitter.com/DRC2AOF0eU — Santiago (@svpino) April 25, 2023
Pouvoir poser des questions au robot
Le but ? « Nous utilisons ChatGPT pour demander des informations [au robot] et l’utilisateur peut lui poser des questions naturellement », explique Santiago Valdarrama. Cet ingénieur en apprentissage automatique a travaillé avec un collègue pour intégrer le chatbot dans la routine du robot. C’est Spot qui a été utilisé, le plus connu des modèles de Boston Dynamics.
La vidéo montre une demande sur le niveau de batterie du robot, qui fournit une réponse. Plus tard, une autre question le sollicite sur le nombre d’inspections que Spot doit faire lors de sa prochaine mission. Une troisième montre le robot qui détaille sa dernière mission (le lieu, la durée et les évènements notables). Enfin, quand on lui demande de reculer, il s’exécute.
« Pouvez-vous me fournir une question ou un contexte pour que je puisse y répondre ? » Spot + ChatGPT
Cette intégration a ses limites. Par exemple, le robot chien n’a pas conscience de lui-même. Ou, plus exactement, ChatGPT ignore qu’il est dans un robot. Quand on demande à Spot quel est son nom, le robot répond OpenAI — le nom de l’entreprise qui a fabriqué ChatGPT. « C’est vraiment n’importe quoi », en plaisante l’un des deux ingénieurs.
Ce Spot dispose d’une prise sonore et d’un module vocal pour capter les sons aux alentours et pour générer une réponse à haute voix. La stratégie des deux ingénieurs est d’utiliser Text-to-Speech de Google, qui convertit du texte en discours naturel. Whisper, un autre système d’IA d’OpenAI, est aussi dans la boucle, cette fois pour transcrire une voix en texte.
Une fois la conversion voix vers texte et texte vers voix assurée, il fallait encore que les requêtes passent par l’agent conversationnel d’OpenAI. Il n’est pas précisé si la version de ChatGPT utilisée dans cette démo s’appuie sur GPT-3.5 ou GPT-4. Il s’agit des deux plus récents modèles de langage qui alimentent ChatGPT. Le second est plus performant que le premier.
Améliorer l’interaction avec le robot
Reste une question : pourquoi interfacer ChatGPT dans un robot comme Spot, en dehors de la performance technique ? Selon Santiago Valdarrama, cela peut être très commode pour « traduire » en langage naturel de longs fichiers remplis de données techniques, qui ne sont pas commodes à lire, surtout si l’on ne dispose pas d’un bagage technique adéquat.
« Ces robots exécutent chaque jour des missions automatisées. Chacune utilise des fichiers de configuration longs de plusieurs kilomètres et difficiles à comprendre. Seuls des techniciens peuvent les manipuler. À la fin de chaque mission, les robots enregistrent une tonne de données. Il n’existe aucun moyen simple d’interroger toutes ces données à la demande », écrit-il.
C’est là que ChatGPT intervient. Les ingénieurs ont agi pour que ChatGPT soit en capable de répondre à des questions en analysant les fichiers JSON — il a fallu le préparer à lire les données qu’ils contiennent et comment elles sont structurées. « Nous disposons d’un moyen extraordinaire d’interroger nos données », s’exclame l’ingénieur.
Un robot Spot. // Source : Boston Dynamics
Plus besoin de parcourir directement les fichiers. Pratique pour des propriétaires de Spot qui n’ont pas forcément un profil très technique. « Nous pouvons désormais interroger les robots sur les missions passées et futures et obtenir une réponse en temps réel. ChatGPT interprète la question, analyse les fichiers et formule la réponse », résume Santiago Valdarrama.
Tout ceci est bon enfant et offre des perspectives prometteuses. Les facultés des robots de Boston Dynamics sont soulignées depuis des années — ils peuvent ouvrir des portes, travailler dans des entrepôts, faire des sauts périlleux, courir, danser, franchir des obstacles, tracter ou porter des choses. Des facultés que l’on imagine déjà avec ChatGPT, pour une interaction plus fluide avec le robot.
Toutefois, force est de constater que les développements autour de ce chien-robot incluent aussi une utilisation à des fins coercitives : contrôle près de la frontière américaine ou rappel des règles de distanciation sociale par des robots patrouilleurs à Singapour, par exemple. On a même vu une variante artisanale d’un robot chien équipé d’une mitrailleuse. C’était un modèle semblable à Spot.
Des perspectives moins réjouissantes ici, qui seraient d’autant plus intimidantes s’il y avait en plus une voix synthétique alimentée par ChatGPT qui entre dans la danse.
Si vous avez aimé cet article, vous aimerez les suivants : ne les manquez pas en vous abonnant à Numerama sur Google News.
Source: Numerama
