Grâce au nouvel outil Omega, les scientifiques peuvent analyser rapidement des images biologiques complexes grâce à des « conversations » alimentées par l’IA

earthpressnews

Dans un nouvel article de recherche, des scientifiques du Chan Zuckerberg Biohub San Francisco (CZ Biohub SF) décrivent Omega, un outil logiciel open source qui fait progresser de manière significative le domaine de l’analyse des bioimages. Omega exploite la puissance des grands modèles de langage (LLM) pour permettre aux scientifiques de traiter et d’analyser des images biologiques via des conversations en langage naturel plutôt que d’avoir à émettre des commandes formelles ou à écrire du code.

Créé par Loïc A. Royer et son équipe, et documenté dans un article publié le 10 juin 2024 dans Méthodes naturellesOmega est un plug-in pour Napariune visionneuse d’images open source utilisée dans le monde entier dans divers domaines scientifiques, notamment dans la recherche biomédicale.

Omega est étroitement intégré à divers LLM, notamment ChatGPT d’OpenAI, permettant aux scientifiques d’effectuer un traitement et une analyse sophistiqués des images biologiques via des interactions conversationnelles intuitives qui envoient toutes les commandes requises au logiciel Napari en arrière-plan.

« Omega permet aux utilisateurs de générer et de modifier rapidement du code pour résoudre des tâches complexes de traitement d’images », a expliqué Royer, chef de groupe senior et directeur de l’IA d’imagerie chez CZ Biohub SF. « Vous devez toujours comprendre les bases de l’analyse d’images, mais Omega accélère considérablement le processus. »

En privilégiant la facilité d’utilisation, Omega démocratise l’analyse des bioimages, car les chercheurs sans compétences approfondies en programmation peuvent utiliser Omega pour effectuer des analyses de haut niveau, accélérant ainsi leur flux de travail et générant une meilleure compréhension de leurs données d’imagerie. De plus, les fonctionnalités collaboratives d’Omega, comme un éditeur de code partagé, améliorent le travail d’équipe et le partage des connaissances au sein de la communauté scientifique, selon Royer.

Omega est un plug-in Napari qui peut accélérer l’analyse des images et éliminer le besoin d’écrire du code. Dans cet exemple, l’utilisateur demande à Omega de projeter en z des images 3D. Crédit : Chan Zuckerberg Biohub San Francisco

Les fonctionnalités d’Omega incluent :

  • Analyse d’images interactive : les utilisateurs peuvent demander à Omega d’effectuer des tâches spécifiques, telles que la segmentation des noyaux cellulaires, le comptage d’objets et la génération de rapports détaillés, le tout via de simples invites conversationnelles.
  • Création de widgets à la demande : Omega peut créer des widgets personnalisés adaptés aux tâches définies par l’utilisateur, facilitant ainsi le filtrage, les transformations et les visualisations d’images spécialisées.
  • Un éditeur de code augmenté par l’IA : Omega comprend un éditeur de code intelligent qui améliore la gestion du code avec des fonctionnalités automatiques de commentaires, de détection d’erreurs et de correction.
  • Capacités multimodales : au-delà du texte, Omega peut interpréter des données visuelles, en intégrant plusieurs types de données pour fournir une analyse complète des images.

    • Avec l’essor récent des LLM et autres plateformes d’IA, Royer envisage un avenir dans lequel les chercheurs en bioimagerie engageront des dialogues avec les outils logiciels dont ils dépendent, plutôt que de simplement « émettre des commandes ».

    « L’idée d’Omega a commencé avec un article de perspective invité publié dans Méthodes naturelles en 2023, dans lequel j’ai prédit que dans un avenir très proche, les tâches d’analyse de bioimages seront résolues grâce à des « conversations avec la machine », a déclaré Royer. « Omega est un pas important vers cette vision. »

    Les membres de la communauté scientifique utilisent déjà Omega, disponible en téléchargement depuis un référentiel GitHub depuis mai 2023, avec des mises à jour régulières publiées depuis lors. « Les retours ont été extrêmement positifs (le logiciel est téléchargé environ 2 000 fois par mois) et ont inspiré d’autres chercheurs à explorer des idées similaires », a déclaré Royer.

    Le code source d’Omega est librement disponible sur GitHub, invitant la communauté mondiale de la recherche à contribuer et à collaborer. Cette ouverture garantit qu’Omega évoluera continuellement, a déclaré Royer, en intégrant les dernières avancées technologiques pour répondre aux besoins en constante évolution des scientifiques du monde entier.

    Pour l’avenir, Royer et son équipe prévoient non seulement de maintenir Omega, mais aussi de continuer à améliorer ses capacités. « Nous prévoyons de rendre Omega plus intelligent et plus robuste, et compatible avec les meilleurs et les plus récents LLM au fur et à mesure de leur apparition », a-t-il déclaré.

    Malgré les progrès récents et frappants des LLM, Royer a souligné que l’expertise humaine reste essentielle dans la recherche. « Il y aura toujours besoin d’experts humains, mais des outils comme Omega vont éliminer les goulots d’étranglement, tels que le besoin de compétences en codage pour transformer les idées en réalité, et augmenteront considérablement la productivité scientifique. »

    Pour plus d’informations sur Omega ou pour accéder au code source, veuillez visiter le Dépôt GitHub.

    Plus d’information:
    Loïc A. Royer, Omega—exploiter la puissance des grands modèles linguistiques pour l’analyse des bioimages, Méthodes naturelles (2024). DOI : 10.1038/s41592-024-02310-w

    Fourni par Chan Zuckerberg Biohub

    ph-tech