Pourquoi embaucher plus de data scientists ne débloquera pas le retour sur investissement de votre IA

Les entreprises ont investi des milliards de dollars dans l’intelligence artificielle sur la base des promesses d’une plus grande automatisation, de la personnalisation de l’expérience client à grande échelle ou de la fourniture de prévisions plus précises pour augmenter les revenus ou optimiser les coûts opérationnels. Alors que les attentes pour ces projets ont augmenté, les entreprises ont embauché de plus en plus de data scientists pour créer des modèles ML. Mais jusqu’à présent, il y a eu un énorme écart entre le potentiel de l’IA et les résultats, avec seulement environ 10 % des investissements en IA générant un retour sur investissement significatif.

Il y a dix ans, lorsque je faisais partie de l’activité de trading automatisé pour l’une des principales banques d’investissement, nous avons vu que trouver des modèles dans les données et créer des modèles (alias algorithmes) était la partie la plus facile par rapport à l’opérationnalisation des modèles. La partie la plus difficile consistait à déployer rapidement les modèles par rapport aux données du marché en direct, à les exécuter efficacement afin que les coûts de calcul ne dépassent pas les retours sur investissement, puis à mesurer leurs performances afin que nous puissions instantanément débrancher tout mauvais algorithme de trading tout en itérant et en améliorant continuellement. pourrait les meilleurs algorithmes (génération de P&L). C’est ce que j’appelle « le dernier kilomètre de l’apprentissage automatique ».

Le retour sur investissement manquant : le défi du dernier kilomètre

Aujourd’hui, les chefs d’unité commerciale et les responsables des données et de l’analyse partagent avec mon équipe comment ils en sont arrivés au point où l’embauche de plus de data scientists n’ajoute plus de valeur commerciale. Oui, des data scientists expérimentés sont nécessaires pour développer et améliorer les algorithmes d’apprentissage automatique. Cependant, une fois que nous avons commencé à poser des questions pour identifier les bloqueurs qui tiraient de la valeur de leur IA, ils se sont vite rendu compte que leur goulot d’étranglement était bel et bien sur dernière Mile, après le développement initial du modèle.

Alors que les équipes d’IA passaient du développement à la production, les scientifiques des données devaient consacrer de plus en plus de temps aux problèmes d' »installation d’infrastructure ». De plus, ils n’avaient pas les outils pour dépanner les modèles de production ou répondre aux questions commerciales sur les performances des modèles, ils ont donc également passé de plus en plus de temps sur des requêtes ad hoc pour collecter et agréger les données de production afin de pouvoir au moins effectuer une analyse de base. des modèles de production. Le résultat était que les modèles mettaient des jours et des semaines (voire des mois pour des ensembles de données volumineux et complexes) à entrer en production, les équipes de science des données volaient à l’aveugle dans l’environnement de production et, à mesure que les équipes grandissaient, elles ne faisaient pas les choses là où elles étaient vraiment bonnes. .

Les scientifiques des données excellent dans la transformation des données en modèles qui aident à résoudre les problèmes commerciaux et à prendre des décisions commerciales. Mais l’expertise et les compétences requises pour créer de grands modèles ne sont pas les mêmes compétences requises pour pousser ces modèles dans le monde réel avec un code prêt pour la production, puis les surveiller et les mettre à jour en permanence.

Entrez les ingénieurs ML…

Les ingénieurs ML sont chargés d’intégrer des outils et des cadres pour garantir que les données, les pipelines d’ingénierie de données et l’infrastructure clé fonctionnent ensemble de manière cohérente pour produire des modèles ML à grande échelle. L’ajout de ces ingénieurs aux équipes permet de recentrer l’attention sur le développement et la gestion de modèles pour les scientifiques des données et soulage une partie de la pression sur les équipes d’IA. Mais même avec les meilleurs ingénieurs ML, les entreprises sont confrontées à trois problèmes majeurs lorsqu’elles tentent de faire évoluer l’IA :

1. Incapacité à embaucher des ingénieurs ML assez rapidement : Même si les ingénieurs ML s’occupent de nombreux problèmes d’installation, la mise à l’échelle de votre IA signifie la mise à l’échelle de vos ingénieurs, et cela tombe rapidement en panne. La demande d’ingénieurs ML est devenue énorme, les offres d’emploi d’ingénieurs ML augmentant 30 fois plus vite que les services informatiques dans leur ensemble. Plutôt que d’attendre des mois, voire des années, pour remplir ces rôles, les équipes d’IA doivent trouver un moyen de prendre en charge davantage de modèles ML et de cas d’utilisation sans augmenter de manière linéaire le nombre d’ingénieurs ML. Mais cela apporte le deuxième goulot d’étranglement …
2. L’absence d’un processus répétable et évolutif pour déployer des modèles, quel que soit l’endroit ou la manière dont un modèle a été créé : La réalité de l’écosystème de données d’entreprise moderne est que différents secteurs d’activité utilisent différentes plates-formes de données en fonction des exigences en matière de données et de technologie pour leurs cas d’utilisation (par exemple, l’équipe produit peut avoir besoin de prendre en charge les données en continu, tandis que le service financier a besoin d’un simple interface de requête à d’autres fins). -utilisateurs techniques). De plus, la science des données est une fonction souvent dispersée dans les secteurs d’activité eux-mêmes, plutôt qu’une pratique centralisée. À leur tour, chacune de ces équipes disparates de science des données a généralement son propre cadre de formation de modèle préféré en fonction des cas d’utilisation qu’elles résolvent, ce qui signifie qu’un cadre de formation cohérent dans toute l’organisation peut ne pas être durable.
3. Trop d’accent est mis sur la construction de modèles au lieu de surveiller et d’améliorer les performances des modèles. Tout comme les ingénieurs en développement logiciel doivent surveiller leur code en production, les ingénieurs ML doivent surveiller la santé et les performances de leur infrastructure ou de leurs modèles une fois qu’ils sont en production et travaillent avec des données réelles pour mûrir et faire évoluer leurs initiatives d’IA.

Pour vraiment faire passer leur IA au niveau supérieur, les entreprises doivent aujourd’hui se concentrer sur les personnes et les outils capables de produire des modèles ML à grande échelle. Cela signifie détourner l’attention des équipes de science des données en constante expansion et examiner de près où se situent les véritables goulots d’étranglement. Ce n’est qu’alors qu’ils verront la valeur commerciale qu’ils ont décidé d’atteindre avec leurs projets ML en premier lieu.