Ce que l’IA et les centrales électriques ont en commun

L’histoire du développement de l’intelligence artificielle (IA) au cours des cinq dernières années a été dominée par l’échelle. D’énormes progrès ont été réalisés dans le traitement du langage naturel (TLN), la compréhension des images, la reconnaissance vocale et plus encore, en adoptant des stratégies développées au milieu des années 2010 et en mettant plus de puissance de calcul et plus de données derrière elles. Cela a conduit à une dynamique de pouvoir intéressante dans l’utilisation et la prolifération des systèmes d’IA ; celui que l’IA voit très similaire au réseau électrique.

Pour la PNL, plus c’est gros, mieux c’est

L’état actuel de l’art en NLP est alimenté par des réseaux de neurones avec des milliards de paramètres formés sur des téraoctets de texte. Le simple fait de conserver ces réseaux en mémoire nécessite plusieurs GPU à la pointe de la technologie, et la formation de ces réseaux nécessite des clusters de supercalcul bien au-delà de la portée de toutes les organisations, sauf les plus grandes.

On pourrait former un réseau de neurones beaucoup plus petit avec beaucoup moins de texte en utilisant les mêmes techniques, mais les performances seraient bien pires. Tant pis, en fait, qu’elle devient une différence de nature au lieu d’une différence de degré ; Il existe des tâches telles que la classification de texte, la synthèse et l’extraction d’entités où les grands modèles de langage fonctionnent parfaitement et les petits modèles de langage seulement par coïncidence.

En tant que personne qui travaille avec les réseaux de neurones depuis environ une décennie, je suis vraiment surpris par ce développement. D’un point de vue technique, il n’est pas évident que l’augmentation du nombre de paramètres dans un réseau de neurones se traduise par une amélioration aussi drastique des performances. Cependant, nous sommes ici en 2022, formant des réseaux de neurones presque identiques aux architectures publiées pour la première fois en 2017, mais avec des ordres de grandeur plus de puissance de traitement et de meilleurs résultats.

Cela indique une dynamique nouvelle et intéressante dans ce domaine. Les modèles de pointe sont trop gourmands en calculs pour que presque n’importe quelle organisation – sans parler d’un individu – puisse les créer ou même les déployer. Pour qu’une entreprise utilise de tels modèles, elle doit en utiliser un qui est créé et hébergé par quelqu’un d’autre – un peu comme la façon dont l’électricité est générée et distribuée aujourd’hui.

Partagez l’IA comme s’il s’agissait d’un utilitaire mesuré

Chaque immeuble de bureaux a besoin d’électricité, mais aucun immeuble de bureaux ne peut accueillir l’infrastructure nécessaire pour produire sa propre électricité. Au lieu de cela, ils se connectent à un réseau électrique central et paient pour l’électricité qu’ils utilisent.

De la même manière, un large éventail d’entreprises peuvent bénéficier de l’intégration du NLP dans leurs opérations, même si peu ont les ressources nécessaires pour créer leurs propres modèles d’IA. C’est exactement pourquoi les entreprises ont construit de grands modèles d’IA et les ont rendus disponibles via une API facile à utiliser. En offrant aux entreprises un moyen de se connecter au réseau électrique proverbial NLP, le coût de la formation de ces modèles de pointe à grande échelle est amorti pour divers clients, leur donnant accès à cette technologie de pointe sans l’infrastructure la plus moderne. .

À titre d’exemple précis, supposons qu’une entreprise qui stocke des documents juridiques souhaite afficher un résumé de chaque document en sa possession. Vous pouvez engager quelques étudiants en droit pour lire et résumer chaque document individuellement, ou ils peuvent utiliser un réseau de neurones. De grands réseaux de neurones travaillant en tandem avec le flux de travail d’un étudiant en droit augmenteraient considérablement l’efficacité de la synthèse. Cependant, en former un à partir de zéro coûterait des ordres de grandeur plus que simplement embaucher plus d’étudiants en droit, mais si l’entreprise avait accès à un réseau neuronal de pointe via une API basée sur le réseau, elle pourrait se connecter à l’IA. « réseau électrique. » ‘ et payez pour une utilisation sommaire.

Cette analogie a des implications intéressantes si nous la poussons à son extrême logique. L’électricité est un service public, au même titre que l’eau et les infrastructures de transport. Ces services sont si essentiels au fonctionnement de notre société qu’en Ontario (d’où je vous écris), ils sont assurés avec succès par des sociétés d’État (détenues et réglementées par les gouvernements fédéral ou provinciaux). Ces sociétés d’État ne sont pas seulement responsables de l’infrastructure et de la distribution, mais aussi de l’évaluation et de l’assurance de la qualité, comme B. le test de qualité de l’eau.

La réglementation de l’utilisation de l’IA est également d’une importance capitale

De plus, comme l’électricité, cette technologie peut être mal utilisée. Il a également été démontré qu’il a plusieurs limites et abus potentiels. De nombreuses recherches ont été menées sur la manière dont ces modèles peuvent potentiellement causer des dommages par l’astroturfing et la propagation des préjugés. Étant donné que cette technologie va fondamentalement changer notre façon de travailler, il est important de considérer son organe directeur et sa réglementation. Plusieurs fournisseurs de ces API NLP ont récemment publié un ensemble de bonnes pratiques pour déployer ces modèles, mais ce n’est évidemment qu’une première étape, en s’appuyant sur ces travaux antérieurs.

Andrew Ng a déclaré : « L’IA est la nouvelle électricité ». Je crois qu’il voulait dire qu’il entraînera une vague de progrès et d’innovation qui sera vitale pour le fonctionnement de notre économie, avec les mêmes implications que l’introduction de l’électricité. La déclaration est peut-être un peu exagérée, mais peut-être plus précise que je ne le pensais au départ. Si l’IA est la nouvelle électricité, elle doit être activée par un nouvel ensemble de centrales électriques.

Nick Frosst est co-fondateur de Cohere.