Il a fabriqué son propre Jarvis dans ses lunettes grâce à GPT-4
Un inventeur a mis au point un assistant personnel grâce à de l’intelligence artificielle. Installé dans ses lunettes, son projet ouvre de nouvelles possibilités en matière d’assistants connectés.
Une solution pour ne plus être embarrassant pendant un entretien d’embauche ou lors d’un rendez-vous romantique ? C’est ce que se vante de proposer Bryan Chiang. Sur Twitter, cet étudiant de Stanford, et inventeur à ses heures perdues, a partagé des images et une vidéo d’un prototype d’une surprenante paire de lunettes dotée d’intelligence artificielle.
« Nous avons fabriqué rizzGPT — un outil de Charisme as a Service en temps réel. Il écoute votre conversation, et vous dit exactement quoi dire après ». La vidéo incluse dans le tweet donne le ton : lors d’une conversation simulant un entretien d’embauche, les lunettes entrent en action. Elles entendent la question posée, et quelques secondes plus tard, une réponse écrite apparaît dans les lunettes. Il n’y a plus qu’à lire la réponse — qui est parfaitement pertinente dans la démo.
say goodbye to awkward dates and job interviews ☹️
we made rizzGPT — real-time Charisma as a Service (CaaS)
it listens to your conversation and tells you exactly what to say next 😱
built using GPT-4, Whisper and the Monocle AR glasses
with @C51Alix @varunshenoy_ pic.twitter.com/HycQGGXT6N — bryan (@bryanhpchiang) March 26, 2023
Des lunettes connectées impressionnantes
Repérées par Vice le 26 avril 2023, ces lunettes n’en sont encore qu’au stade de prototype. Mais elles marquent un tournant et ouvrent des perspectives pour de futurs assistants connectés adossés à de l’intelligence artificielle. Dans d’autres messages sur Twitter, l’inventeur a expliqué la méthode utilisée pour parvenir à ce résultat.
« Pour rizzGPT, une webapp est connectée à un appareil (le téléphone) qui communique avec le monocle via Bluetooth. La conversation audio (captée par le micro du téléphone) est convertie en texte en temps réel (grâce à OpenAI Whisper dans le cloud). GPT utilise la transcription pour générer ce que l’utilisateur doit dire. Le terminal envoie un message directement sur le monocle pour faire apparaître la réponse. Tout cela se passe pendant que l’utilisateur a toujours l’air engagé et attentif à la conversion ! »
Ce sont « les IA génératives ont rendu ce futur possible », estime Bryan. Les LLM (large language model), les modèles de prédiction des mots entrainés sur des milliards de données et qui permettent aux IA comme ChatGPT de fonctionner, sont indispensables pour le fonctionnement de ce type de projet. « Tout d’abord, les capacités de perception multimodales aident l’IA à comprendre ce qu’il se passe dans votre vie. Ces éléments de contexte sont essentiels pour l’IA pour proposer une aide hyper personnalisée. […] Les LLM permettent de parler directement aux appareils […]. Tout cela rend l’idée d’une réalité augmentée en main libre vraiment viable. »
Les lunettes / assistant connecté boostées à l’IA. // Source : Bryan Chiang
Les photos et les vidéos des lunettes publiées par Bryan ont suscité des réactions positives sur Twitter. Jusqu’à présent, l’intelligence artificielle avait chamboulé de nombreux domaines, comme l’art et l’information — mais jamais le secteur des assistants connectés. On ne peut désormais que constater que cet écosystème aussi est amené à être renversé par l’IA, tôt ou tard.
Depuis sa vidéo, Bryan a continué d’expérimenter et d’améliorer ses lunettes — il surnomme dorénavant le système « GPT-4 Jarvis », du nom de l’assistant virtuel d’Iron Man dans l’univers Marvel. Les prouesses de l’appareil ont progressé aussi : il comprend les textes que l’utilisateur lit en temps réel. Il reste à voir quand les premiers produits commerciaux arriveront.
Abonnez-vous à Numerama sur Google News pour ne manquer aucune info !
Source: Numerama
