IA : l’exécution de ChatGPT-3 coûterait plus de 700 000 dollars par jour à OpenAI
La popularité grandissante de ChatGPT engendre des coûts faramineux pour OpenAI. Pour assurer le maintien de l’infrastructure et la puissance de calcul consacrés au modèle GPT-3, l’entreprise débourserait quotidiennement plus de 700 000 dollars — ce chiffre serait donc bien plus élevé pour GPT-4. Cependant, elle aspire à diminuer cette somme en concevant son propre GPU pour centre de données, économiquement plus abordable et plus économe en énergie.
La formation de modèles de langage aussi vastes que ChatGPT nécessite un investissement supérieur à 4 millions de dollars, d’après des analystes experts du domaine. Néanmoins, les dépenses opérationnelles et les coûts d’inférence liés à leur mise en œuvre à grande échelle surpassent largement l’investissement initial. Les coûts d’inférence de ChatGPT vont bien au-delà des sommes allouées à sa formation, faisant débourser jusqu’à 700 000 dollars par jour à OpenAI.
Il est essentiel de souligner que les entreprises exploitant les modèles linguistiques d’OpenAI engagent généralement des sommes conséquentes pour assurer le bon fonctionnement de l’IA. Par exemple, Latitude, une start-up spécialisée dans les jeux vidéo en ligne, qui utilise des commandes basées sur l’IA pour générer des scénarios, dépense environ 200 000 dollars par mois. Ce montant englobe notamment l’exécution optimale du modèle pour répondre aux millions de requêtes des utilisateurs et la location de serveurs d’Amazon Web Services (AWS). De surcroît, l’IA de création de scénarios de Latitude, nommée AI Dungeon et fournie par OpenAI, engendre un coût supplémentaire auquel Latitude ne s’attendait pas au départ.
:: LE T-SHIRT QUI SOUTIENT LA SCIENCE ! ::
Face à ces coûts prohibitifs, l’entreprise (Latitude) a décidé de se tourner vers AI21 Labs, un autre fournisseur de modèles linguistiques dont les frais d’entretien s’élèvent à la moitié du prix (100 000 dollars par mois). Alors que l’on pensait que l’utilisation des IA reviendrait moins cher que d’embaucher des employés, « nous avons dépensé des centaines de milliers de dollars par mois pour l’IA et nous ne sommes pas une grosse start-up. Donc c’était un coût vraiment énorme », affirme Nick Walton, PDG de Latitude.
Le coût d’inférence de ChatGPT découle en partie de sa popularité, puisqu’il implique le traitement de millions de données chaque minute, provenant du monde entier. Pour ce faire, l’IA dispose d’une puissance de calcul colossale, en fonction des sollicitations des utilisateurs, et repose sur une infrastructure technologique extrêmement coûteuse. La majeure partie des dépenses liées à ChatGPT serait ainsi attribuable au maintien de ses puissants serveurs. Selon un responsable d’OpenAI, le modèle pourrait être encore plus coûteux à exécuter que cela (avec GPT-4), étant donné que les estimations précédemment mentionnées sont basées sur GPT-3.
Une alternative moins onéreuse
Le problème des coûts d’inférence ne concerne pas uniquement ChatGPT. Les IA axées sur la conversation sont également employées en tant que moteurs de recherche et s’avèrent, de ce fait, considérablement coûteuses à mettre en œuvre. Elles nécessitent des puces principales spécialisées (ou unités de traitement graphique) greffées aux centres de données qui requièrent d’importants investissements d’entretien et de mise à niveau, sans compter leur forte consommation énergétique.
Vous voulez éliminer les pubs du site tout en continuant de nous soutenir ? C'est simple, il suffit de s'abonner !
En ce moment, 20% de rabais sur l'abonnement annuel !
JE PROFITE DE L'OFFRE
Dans l’optique de diminuer les coûts d’exécution de leur modèle d’IA, Microsoft et OpenAI envisagent de remplacer les GPU Nvidia par des GPU Athena. En développement depuis 2019, ce GPU aurait également pour objectif de permettre à Microsoft de rattraper son retard face à Google et Amazon (qui possèdent leurs propres puces de données). Actuellement, plus de 300 employés de Microsoft œuvrent sur le développement de la puce, qui sera lancée pour une utilisation en interne dès l’année prochaine. Les économies réalisées grâce à cette dernière seraient substantielles pour les deux partenaires (Microsoft et OpenAI).
Cependant, au rythme où se développe l’industrie, il n’est pas évident de savoir si l’exécution des IA constituera toujours un coût aussi élevé. En effet, la plupart des entreprises travaillant sur les dispositifs d’exécution des IA ont pour objectif de réduire les coûts et d’optimiser l’efficacité afin de rester compétitives sur le marché. De son côté, Nvidia détient environ 95% du marché des GPU et développe des versions toujours plus performantes pour l’apprentissage automatique.
Par ailleurs, des analystes estiment que les modèles linguistiques tels que ChatGPT atteindraient bientôt leur apogée et se rapprochent d’un point de basculement critique, où leur rendement commencerait à fléchir. Cette tendance se confirmerait à mesure que leur taille augmente, stimulée par un nombre toujours croissant d’utilisateurs. Les améliorations futures apportées à ces IA devront ainsi se concentrer sur d’autres aspects que la taille des modèles.
Source: Trust My Science
