Mit dem neuen Omega-Tool können Wissenschaftler komplexe biologische Bilder durch KI-gestützte „Gespräche“ schnell analysieren

earthpressnews

In einem neuen Forschungsartikel beschreiben Wissenschaftler des Chan Zuckerberg Biohub San Francisco (CZ Biohub SF) Omega, ein Open-Source-Softwaretool, das den Bereich der Biobildanalyse deutlich voranbringt. Omega nutzt die Leistungsfähigkeit großer Sprachmodelle (LLMs), um es Wissenschaftlern zu ermöglichen, biologische Bilder durch natürliche Sprachkonversationen zu verarbeiten und zu analysieren, anstatt formale Befehle erteilen oder Code schreiben zu müssen.

Erstellt von Loïc A. Royer und seinem Team und dokumentiert in einem Artikel veröffentlicht 10. Juni 2024 In NaturmethodenOmega ist ein Plug-in für Napariein Open-Source-Bildbetrachter, der weltweit in verschiedenen wissenschaftlichen Bereichen, insbesondere in der biomedizinischen Forschung, verwendet wird.

Omega ist eng mit verschiedenen LLMs integriert, darunter ChatGPT von OpenAI, und ermöglicht Wissenschaftlern die Durchführung anspruchsvoller Biobildverarbeitungs- und -analysen durch intuitive, konversationale Interaktionen, die alle erforderlichen Befehle im Hintergrund an die Napari-Software senden.

„Omega ermöglicht es Benutzern, schnell Code zu generieren und zu bearbeiten, um komplexe Bildverarbeitungsaufgaben zu lösen“, erklärte Royer, leitender Gruppenleiter und Direktor für Bildgebungs-KI bei CZ Biohub SF. „Sie müssen zwar immer noch die Grundlagen der Bildanalyse verstehen, aber Omega beschleunigt den Prozess erheblich.“

Indem Omega der Benutzerfreundlichkeit Priorität einräumt, demokratisiert es die Biobildanalyse, da Forscher ohne umfassende Programmierkenntnisse Omega verwenden können, um hochrangige Analysen durchzuführen, ihren Arbeitsablauf zu beschleunigen und tiefere Einblicke in ihre Bilddaten zu gewinnen. Darüber hinaus verbessern Omegas kollaborative Funktionen, wie beispielsweise ein gemeinsam genutzter Code-Editor, die Teamarbeit und den Wissensaustausch innerhalb der wissenschaftlichen Gemeinschaft, so Royer.

Omega ist ein Napari-Plug-in, das die Bildanalyse beschleunigen kann und das Schreiben von Code überflüssig macht. In diesem Beispiel fordert der Benutzer Omega auf, 3D-Bilder in Z-Projizierung zu projizieren. Bildnachweis: Chan Zuckerberg Biohub San Francisco

Zu den Funktionen von Omega gehören:

  • Interaktive Bildanalyse: Benutzer können Omega über einfache Gesprächsanweisungen anweisen, bestimmte Aufgaben auszuführen, z. B. Zellkerne zu segmentieren, Objekte zu zählen und detaillierte Berichte zu erstellen.
  • Widget-Erstellung auf Anfrage: Omega kann benutzerdefinierte Widgets erstellen, die auf benutzerdefinierte Aufgaben zugeschnitten sind und spezielle Bildfilterung, Transformationen und Visualisierungen ermöglichen.
  • Ein KI-erweiterter Code-Editor: Omega enthält einen intelligenten Code-Editor, der die Codeverwaltung mit automatischen Kommentierungs-, Fehlererkennungs- und Korrekturfunktionen verbessert.
  • Multimodale Fähigkeiten: Omega kann über Text hinaus visuelle Daten interpretieren und mehrere Datentypen integrieren, um eine umfassende Bildanalyse bereitzustellen.

    • Angesichts des jüngsten Aufkommens von LL.M.-Abschlüssen und anderen KI-Plattformen stellt sich Royer eine Zukunft vor, in der Bioimaging-Forscher in Dialog mit den von ihnen benötigten Softwaretools treten, statt einfach nur „Befehle zu erteilen“.

    „Die Idee für Omega entstand mit einem eingeladenen Meinungsbeitrag, der in Naturmethoden im Jahr 2023, in dem ich vorhersagte, dass in sehr naher Zukunft Aufgaben der Biobildanalyse durch ‚Gespräche mit der Maschine‘ gelöst werden“, sagte Royer. „Omega ist ein bedeutender Schritt in Richtung dieser Vision.“

    Mitglieder der wissenschaftlichen Gemeinschaft nutzen Omega bereits. Das Programm steht seit Mai 2023 in einem GitHub-Repository zum Download bereit und wird seitdem regelmäßig aktualisiert. „Das Feedback war überwältigend positiv – die Software wird etwa 2.000 Mal pro Monat heruntergeladen – und hat andere Forscher dazu inspiriert, ähnliche Ideen zu verfolgen“, sagte Royer.

    Der Quellcode für Omega ist auf GitHub frei verfügbar und lädt die globale Forschungsgemeinschaft zu Beiträgen und Mitarbeit ein. Diese Offenheit stellt sicher, dass Omega sich kontinuierlich weiterentwickelt, sagte Royer, und die neuesten technologischen Fortschritte integriert, um den sich ständig ändernden Anforderungen von Wissenschaftlern weltweit gerecht zu werden.

    Mit Blick auf die Zukunft planen Royer und sein Team, Omega nicht nur zu warten, sondern seine Fähigkeiten auch weiter zu verbessern. „Wir planen, Omega intelligenter und robuster zu machen und es mit den besten und neuesten LLMs kompatibel zu machen, sobald sie auf den Markt kommen“, sagte er.

    Trotz der jüngsten Fortschritte bei den LLMs betonte Royer jedoch, dass menschliches Fachwissen in der Forschung weiterhin unverzichtbar sei. „Es wird immer einen Bedarf an menschlichen Experten geben, aber Tools wie Omega werden Engpässe beseitigen, wie etwa die Notwendigkeit von Programmierkenntnissen, um Ideen in die Tat umzusetzen, und die Produktivität in der Wissenschaft dramatisch steigern.“

    Weitere Informationen zu Omega oder den Quellcode finden Sie unter GitHub-Repository.

    Mehr Informationen:
    Loïc A. Royer, Omega – Nutzung der Leistungsfähigkeit großer Sprachmodelle für die Biobildanalyse, Naturmethoden (2024). DOI: 10.1038/s41592-024-02310-w

    Zur Verfügung gestellt von Chan Zuckerberg Biohub

    ph-tech