OpenAI hat der Welt sein neuestes leistungsstarkes KI-Modell, GPT-4, vorgestellt, und erfrischenderweise war das erste, worauf sie das neue System eingestellt haben, Menschen mit Sehbehinderungen zu helfen. Be My Eyes, mit dem blinde und sehbehinderte Menschen sehende Menschen bitten können, zu beschreiben, was ihr Telefon sieht, bekommt einen „virtuellen Freiwilligen“, der jederzeit KI-gestützte Hilfe anbietet.
Wir haben darüber geschrieben Sei meine Augen seit dem Start im Jahr 2015 viele Male, und natürlich hat der Aufstieg von Computer Vision und anderen Tools eine herausragende Rolle in seiner Geschichte gespielt, Sehbehinderten dabei zu helfen, sich leichter im Alltag zurechtzufinden. Aber die App selbst kann nur so viel, und eine Kernfunktion bestand immer darin, die Hilfe eines Freiwilligen zu erhalten, der durch die Kameraansicht Ihres Telefons schauen und detaillierte Beschreibungen oder Anweisungen geben konnte.
Die neue Version der App integriert die Multimodel-Fähigkeiten von GPT-4, d. h. seine Fähigkeit, nicht nur verständlich zu chatten, sondern auch Bilder zu inspizieren und zu verstehen, die ihm gegeben wurden.
Benutzer können Bilder über die App an einen KI-gestützten virtuellen Freiwilligen senden, der alle Fragen zu diesem Bild beantwortet und sofortige visuelle Unterstützung für eine Vielzahl von Aufgaben bietet.
Wenn ein Benutzer beispielsweise ein Bild vom Inneren seines Kühlschranks sendet, kann der Virtual Volunteer nicht nur den Inhalt richtig identifizieren, sondern auch extrapolieren und analysieren, was mit diesen Zutaten zubereitet werden kann. Das Tool kann dann auch eine Reihe von Rezepten für diese Zutaten anbieten und eine Schritt-für-Schritt-Anleitung zur Herstellung senden.
Aber das Video zur Beschreibung ist aufschlussreicher. Darin zeigt Be My Eyes-Benutzerin Lucy die App, die ihr bei einer Reihe von Dingen live hilft. Wenn Sie mit dem Schnellfeuer-Patois eines Bildschirmlesers nicht vertraut sind, verpassen Sie vielleicht einen Teil des Dialogs, aber sie lässt ihn das Aussehen eines Kleides beschreiben, eine Pflanze identifizieren, eine Karte lesen, ein Etikett übersetzen, sie anweisen ein bestimmtes Laufband im Fitnessstudio, und sagen Sie ihr, welche Knöpfe sie an einem Verkaufsautomaten drücken soll. (Sie können das Video unten ansehen.)
Seien Sie ein virtueller Freiwilliger von My Eyes
Es ist eine sehr prägnante Demonstration, wie unfreundlich ein Großteil unserer städtischen und kommerziellen Infrastruktur für Menschen mit Sehproblemen ist. Und es zeigt auch, wie nützlich der multimodale Chat von GPT-4 unter den richtigen Umständen sein kann.
Zweifellos werden menschliche Freiwillige weiterhin für die Benutzer der Be My Eyes-App von entscheidender Bedeutung sein – es gibt keinen Ersatz für sie, sondern nur, wenn sie gebraucht werden (und tatsächlich können sie sofort gerufen werden, wenn die KI-Antwort nicht gut genug ist). ).
Als Beispiel schlägt die KI im Fitnessstudio hilfreich vor, dass „die verfügbaren Geräte diejenigen sind, auf denen keine Personen sitzen“. Danke! Wie OpenAI-Mitbegründer Sam Altman heute sagte, sind die Fähigkeiten auf den ersten Blick beeindruckender als nach einer Weile, aber wir müssen uns auch davor hüten, diesem geschenkten Gaul zu genau ins Maul zu schauen.
Das Team von Be My Eyes arbeitet eng mit OpenAI und seiner Community zusammen, um seine Fähigkeiten zu definieren und zu steuern, während seine Entwicklung fortgesetzt wird.
Derzeit befindet sich das Feature in der Closed Beta für eine „kleine Untergruppe“ von Be My Eyes-Benutzern, die in den kommenden Wochen erweitert wird. „Wir hoffen, den Virtual Volunteer in den kommenden Monaten allgemein verfügbar zu machen“, schreibt das Team. „Genau wie unser bestehender Freiwilligendienst ist dieses Tool für alle blinden und sehbehinderten Community-Mitglieder, die die Be My Eyes-App verwenden, kostenlos.“
Wenn man bedenkt, wie schnell ChatGPT für die Bereitstellung von Diensten für Unternehmens-SaaS-Plattformen und andere eher prosaische Anwendungen kooptiert wurde, ist es ermutigend zu sehen, dass dieses neue System sofort eingesetzt wird, um Menschen zu helfen. Hier können Sie mehr über GPT-4 lesen.