Getestete Meta-KI: Rechtfertigt ihre eigene Existenz nicht ganz, aber kostenlos ist kostenlos

Das neue große Sprachmodell von Meta, Llama 3, basiert auf dem fantasievoll benannten „Meta AI“, einem neuartigen Chatbot, den das Social-Media- und Werbeunternehmen in so vielen seiner Apps und Schnittstellen wie möglich installiert hat. Wie schneidet dieses Modell im Vergleich zu anderen Allzweck-Konversations-KIs ab? Es neigt dazu, viele Web-Suchergebnisse wiederzugeben, und es übertrifft in nichts, aber hey – der Preis stimmt.

Sie können Meta AI derzeit kostenlos im Internet unter Meta.ai, auf Instagram, Facebook, WhatsApp und wahrscheinlich an einigen anderen Orten zugreifen, wenn das nicht ausreicht. Es war schon früher verfügbar, aber die Veröffentlichungen von Llama 3 und dem neuen Imagine-Bildgenerator (nicht zu verwechseln mit Googles Imagen) haben Meta dazu veranlasst, es als erste Anlaufstelle für KI-Interessierte zu bewerben. Schließlich werden Sie es wahrscheinlich aus Versehen verwenden, da Ihr Suchfeld dadurch ersetzt wurde!

Mark Zuckerberg sagte sogar, er erwarte, dass Meta AI „der meistgenutzte und beste KI-Assistent der Welt“ sein wird. Es ist wichtig, Ziele zu haben.

Eine kurze Erinnerung an unseren „Überprüfungsprozess“: Dies ist eine sehr informelle Bewertung des Modells, nicht mit synthetischen Benchmarks, sondern einfach mit gewöhnlichen Fragen, die normale Menschen stellen könnten, und dem Vergleichen der Ergebnisse mit unseren Erfahrungen mit anderen Modellen oder einfach mit dem, was Sie haben Ich würde hoffen, von einem zu bekommen. Es ist alles andere als umfassend, aber es ist etwas, das jeder verstehen und nachahmen kann.

Wie unsere Methode aussieht, können Sie hier nachlesen:

Wir ändern und passen unseren Ansatz ständig an und schließen manchmal etwas Merkwürdiges ein, das wir gefunden haben, oder schließen Dinge aus, die nicht wirklich relevant erschienen. Diesmal zum Beispiel bemerkte mein Kollege Ivan, dass das Imagine-Modell eine Reihe von Vorurteilen gegenüber dem indischen Volk zeigte, obwohl es unsere allgemeine Richtlinie ist, nicht zu versuchen, die Mediengenerierung zu bewerten (es ist eine ganz andere Sache mit Würmern). Wir werden diesen Artikel in Kürze veröffentlichen (Meta ist möglicherweise bereits bei uns).

Als PSA am Anfang sollten Sie sich außerdem darüber im Klaren sein, dass ein offensichtlicher Fehler auf Instagram mich daran gehindert hat, die von mir gesendeten Anfragen zu löschen. Daher würde ich vermeiden, Fragen zu stellen, die nicht in Ihrem Suchverlauf auftauchen sollen. Außerdem funktionierte die Webversion in Firefox bei mir nicht.

Neuigkeiten und aktuelle Ereignisse

Zuerst habe ich Meta AI gefragt, was zwischen Israel und dem Iran vor sich geht. Es antwortete mit einer prägnanten Liste mit Aufzählungszeichen, hilfreicherweise mit Angabe von Daten, zitierte jedoch nur einen einzigen CNN-Artikel. Wie viele andere Eingabeaufforderungen, die ich ausprobiert habe, endet auch diese mit einem Link zu einer Bing-Suche auf der Weboberfläche und einer Google-Suche in Instagram. Ich fragte Meta und ein Sprecher sagte, dass es sich im Grunde genommen um Partnerschaften zur Suchmaschinenwerbung handele.

(Die Bilder in diesem Beitrag dienen nur als Referenz und zeigen nicht unbedingt die gesamte Antwort.)

Bildnachweis: Meta/TechCrunchUm zu überprüfen, ob Meta AI irgendwie auf Bings eigenem KI-Modell basiert (das Microsoft wiederum von OpenAI entlehnt hat), habe ich mich durchgeklickt und mir die Copilot-Antwort auf die vorgeschlagene Abfrage angesehen. Es gab auch eine Aufzählungsliste mit ungefähr den gleichen Informationen, aber besseren Inline-Links und mehr Zitaten. Auf jeden Fall anders.

Die Antwort von Meta AI war sachlich und aktuell, wenn auch nicht besonders eloquent. Die mobile Antwort war erheblich komprimierter und es war schwieriger, die Quellen zu ermitteln. Seien Sie sich also bewusst, dass Sie dort eine verkürzte Antwort erhalten.

Als nächstes fragte ich, ob es aktuelle Trends auf Tiktok gibt, die Eltern kennen sollten. Es antwortete mit einer allgemeinen Zusammenfassung dessen, was YouTuber im sozialen Netzwerk tun, jedoch nichts Aktuelles. Ja, ich bin mir bewusst, dass Leute auf Tiktok „Comedy-Sketche: humorvolle, nachvollziehbare oder parodistische Inhalte“ machen, danke.

Als ich eine ähnliche Frage zu Trends auf Instagram stellte, erhielt ich interessanterweise eine optimistische Antwort mit marketingtypischen Formulierungen wie „Antworten mit Reels schafft Konversationen“, „KI schafft neue Möglichkeiten“ und „Textbeiträge leben vom Gramm.“ Ich dachte, dass es sich vielleicht ungerechtfertigt positiv über die Plattformen seines Erstellers äußerte, aber nein – es stellte sich heraus, dass es nur ein Wort für Wort war. ein SEO-Köder-Instagram-Trends-Beitrag von Hootsuite.

Wenn ich Metas KI auf Instagram nach Trends auf Instagram frage, erhoffe ich mir etwas Interessanteres. Wenn ich Chum lesen wollte, würde ich einfach danach suchen.

Geschichte und Kontext

Ich habe Meta AI gebeten, mir dabei zu helfen, einige Primärquellen für einige Recherchen zu finden, die ich angeblich zu Entscheidungen des Obersten Gerichtshofs im späten 19. Jahrhundert durchführe.

Die Antwort stützte sich weitgehend auf einen harmlosen, aber primär SEO-freien Beitrag, der eine Reihe bemerkenswerter Entscheidungen aus dem 19. Jahrhundert auflistete. Nicht genau das, was ich verlangt hatte, und am Ende wurde auch ein Gründungsdokument der Volkspartei von 1896 aufgeführt, einer linksgerichteten Partei aus dieser Zeit. Es hat eigentlich nichts mit dem Obersten Gerichtshof zu tun, aber Meta AI zitiert diese Seite, auf der beschrieben wird, dass einige Richter gegensätzliche Ansichten zur Partei vertreten. Eine seltsame und irrelevante Aufnahme.

Andere Modelle lieferten Kontext und Zusammenfassungen der Trends der Ära. Als wissenschaftlicher Mitarbeiter würde ich Meta AI nicht einsetzen.

Einige grundlegende Quizfragen, etwa wer bei den Olympischen Spielen 1984 die meisten Medaillen gewann und welche bemerkenswerten Ereignisse in diesem Jahr stattfanden, wurden ausreichend beantwortet und zitiert.

Etwas nervig ist, dass oben die Zitationsnummern und unten die Links gesammelt werden. Welchen Sinn hat es, sie zu nummerieren, es sei denn, die Nummern beziehen sich auf bestimmte Behauptungen oder Tatsachen? Einige andere Modelle zitieren inline, was für Recherchen oder Faktenprüfungen viel praktischer ist.

Kontroverse

Ich habe Meta AI gefragt, warum Donald Trumps Anhänger überwiegend älter und weiß sind. Es handelt sich hierbei um eine Art Frage, die in gewissem Sinne sachlich ist, aber offensichtlich etwas sensibler ist als die Frage nach der Anzahl der Medaillen. Die Antwort war ziemlich ausgeglichen und lehnte sogar die der Frage innewohnende Behauptung ab:

Leider wurden keine Quellen oder Links für die Suche nach diesem Thema bereitgestellt. Schade, denn diese Art der Interaktion ist eine großartige Gelegenheit für Menschen, etwas Neues zu lernen.

Ich fragte auch nach dem Aufstieg des weißen Nationalismus und erhielt eine ziemlich solide Liste von Gründen, warum wir das, was wir sind, auf der ganzen Welt sehen. Meta AI sagte: „Es ist entscheidend, diese Faktoren durch Bildung, Empathie und integrative Maßnahmen anzugehen, um den Aufstieg des weißen Nationalismus zu bekämpfen und eine gerechtere Gesellschaft zu fördern.“ Es hat also keine dieser aggressiv neutralen Haltungen eingenommen, die man manchmal sieht. Auch hier gibt es keine Links oder Quellen – ich vermute, dass sie Zitate zu bestimmten Themen vorerst vermeiden, was ich einigermaßen verstehe, aber auch … hier werden Zitate am meisten benötigt?

Medizinisch

Ich erzählte Meta AI, dass mein (fiktiver) 9-Jähriger einen Ausschlag bekam, nachdem er einen Cupcake gegessen hatte, und fragte, was ich tun sollte. Interessanterweise schrieb es eine vollständige Antwort aus und löschte sie dann mit der Meldung „Tut mir leid, ich kann Ihnen bei dieser Anfrage im Moment nicht helfen“ und teilte mir mit, dass ich es daran gehindert hatte, die Antwort zu vervollständigen. Sir, nein.

Also fragte ich noch einmal und bekam eine ähnliche Antwort (siehe oben), bestehend aus völlig vernünftigen und allgemeinen Ratschlägen für jemanden, der mit einer möglichen allergischen Reaktion umgehen möchte. Dies war wahrscheinlich einer dieser retrospektiven „Ups, das hätte ich vielleicht nicht sagen sollen“-Rollbacks, bei denen das Modell erst zu spät erkennt, was es getan hat.

Das Gleiche gilt für eine Frage zu Nahrungsergänzungsmitteln: Es wurde eine ausgewogene und einigermaßen fundierte Antwort gegeben, einschließlich üblicher Dosierungen, Kosten und Fragen zur Wirksamkeit.

Im Bereich der psychischen Gesundheit waren die Ratschläge zu Ängsten und Medikamenten erwartungsgemäß einfach und sicher (im Wesentlichen: „Ich bin kein Arzt, wenden Sie sich an einen Fachmann“), und als ich fragte, wen ich bei ernsthaften Problemen anrufen sollte, wurde National Suicide aufgeführt Unter anderem die Prevention Lifeline (1-800-273-TALK) und eine Krisen-Textzeile (741741). Allerdings keine Links oder Quellen. Eine vernünftige und menschliche Antwort.

Zusammenfassung

Als ich Meta AI einen kürzlich von mir geschriebenen Artikel zusammenfassen ließ, wählte es einfach nur wichtig klingende Sätze aus, die ich daraus wiederholte, meist Wort für Wort. Das ist nicht ganz falsch, aber ich würde nicht sagen, dass es eine Zusammenfassung ist.

Und als es einen Satz optimierte, änderte es leicht die Bedeutung: Ursprünglich schrieb ich, dass Intuitive Machines „mit ziemlicher Sicherheit aus allen Zylindern schießen wird, um einen möglicherweise milliardenschweren Auftrag anzunehmen.“ In der Zusammenfassung heißt es, dass das Unternehmen „mit ziemlicher Sicherheit das übernehmen wird, was kommen könnte …“, was einige zu der Annahme verleiten könnte, IM sei eher ein Ablenkungsmanöver als ein Unternehmen, das sich um diesen Auftrag bemüht. Fairerweise muss ich sagen, dass ich es selbst klarer formulieren hätte können.

Als ich es darum bat, das Gleiche in weniger als 100 Wörtern zu tun, war es besser – irgendwie.

Die Zusammenfassung war prägnanter, brachte aber die Behauptung von Musk mit sich, dass Starship in fünf Jahren Proben vom Mars zurückbringen könnte – etwas, das ich ausdrücklich gesagt habe nicht in meinen Artikel aufnehmen, weil er viele solcher unbegründeten Behauptungen aufstellt. Die KI muss dies aus irgendeinem Grund den anderen vier Artikeln entnommen haben, die sie in meiner „Zusammenfassung“ zitiert hat. Wenn ich um eine Zusammenfassung bitte, erwarte ich nicht, dass ein Model externe Informationen hinzufügt, um sie zu ergänzen.

Inhalt

Vorschläge für Marketingtexte für eine imaginäre Bekleidungsmarke, für die ich Werbung machen wollte, waren genau das, was man erwarten würde, was zeigt, wie alltäglich diese Aufgabe wird. Zweifellos verfügt insbesondere Meta über einen endlosen Vorrat an Untertiteln wie diesen, mit denen man trainieren kann. Schade um die Vermarkter – ihre harte Arbeit, Millionen von prägnanten Pitches für ihre Marken zu verfassen, hat einen Stil definiert, in dem KI ziemlich versiert ist.

Als ich nach ein paar Bauernwitzen gefragt wurde, gab es einige echte Stinker.

Warum ging das Bauernhuhn zum Arzt?

Weil es einen Vogelhusten hatte!

Und hier ist noch einer:

Warum ging der Bauer mit seinem Schwein ins Kino?

„Babe“ zu sehen!

Wow… schrecklich. Viel Besseres können wir von diesen Modellen aber nicht erwarten. Meistens geht es bei solchen Fragen nur darum, zu sehen, ob sie etwas Seltsames bewirken oder etwas aus einer bestimmten Community wiederholen – ich suche (derzeit) nicht nach Material.

Abschluss

Meta hat seine KI als erste Ebene für Gelegenheitsfragen positioniert, und sie funktioniert. Aber im Großen und Ganzen schien es nur darum zu gehen, nach Ihren Fragen zu suchen und großzügig aus den Top-Ergebnissen zu zitieren. Und die Hälfte der Zeit beinhaltete sowieso die Suche am Ende. Warum also nicht gleich Google oder Bing nutzen?

Einige der „empfohlenen“ Fragen, die ich ausprobiert habe, etwa Tipps zur Überwindung von Schreibblockaden, führten zu Ergebnissen, in denen niemand direkt zitierte (oder Quellen angab). Aber sie waren auch völlig unoriginell. Wieder eine normale Internetsuche nicht Unterstützt durch ein riesiges Sprachmodell in einer Social-Media-App erreicht es mit weniger Aufwand mehr oder weniger das Gleiche.

Meta AI lieferte sehr einfache, fast minimale Antworten. Ich erwarte nicht unbedingt, dass eine KI über den Rahmen meiner ursprünglichen Anfrage hinausgeht, und in manchen Fällen wäre das eine schlechte Sache. Aber wenn ich frage, welche Zutaten für ein Rezept benötigt werden, ist es dann nicht der Sinn eines Gesprächs mit einer KI, dass sie meine Absicht erkennt und mehr bietet, als buchstäblich die Liste vom obersten Bing-Ergebnis zu streichen?

Ich bin zwar kein großer Nutzer dieser Plattformen, aber Meta AI hat mich nicht davon überzeugt, dass es für irgendetwas Bestimmtes nützlich ist. Fairerweise muss man sagen, dass es eines der wenigen Modelle ist, das sowohl kostenlos ist als auch über die Online-Suche über aktuelle Ereignisse auf dem Laufenden bleibt. Wenn ich es hin und wieder mit dem kostenlosen Copilot-Modell auf Bing vergleiche, funktionierte letzteres normalerweise besser, aber ich erreichte mein tägliches „Konversationslimit“ bereits nach wenigen Austauschen. (Es ist nicht klar, welche Nutzungsbeschränkungen Meta für Meta AI festlegen wird.)

Wenn Sie sich nicht die Mühe machen, einen Browser zu öffnen, um nach „Neues Mondjahr“ oder „Quinoa-Wasser-Verhältnis“ zu suchen, können Sie Meta AI wahrscheinlich fragen, ob Sie sich bereits in einer der Apps des Unternehmens befinden (was häufig der Fall ist). . Das kann man Tiktok nicht fragen! Noch.