Nvidia ist stets daran interessiert, Anreize für den Kauf seiner neuesten GPUs zu schaffen, und veröffentlicht ein Tool, mit dem Besitzer von Karten der GeForce RTX 30-Serie und 40-Serie einen KI-gestützten Chatbot offline auf einem Windows-PC ausführen können.
Mit dem Tool namens „Chat with RTX“ können Benutzer ein GenAI-Modell nach dem Vorbild von OpenAIs ChatGPT anpassen, indem sie es mit Dokumenten, Dateien und Notizen verbinden, die es dann abfragen kann.
„Anstatt Notizen oder gespeicherte Inhalte zu durchsuchen, können Benutzer einfach Abfragen eingeben“, schreibt Nvidia in einem Blogbeitrag. „Zum Beispiel könnte man fragen: ‚Welches Restaurant hat mein Partner in Las Vegas empfohlen?‘ und Chat mit RTX scannt lokale Dateien, auf die der Benutzer verweist, und stellt die Antwort mit Kontext bereit.“
Chat with RTX verwendet standardmäßig das Open-Source-Modell des KI-Startups Mistral, unterstützt aber auch andere textbasierte Modelle, darunter Metas Llama 2. Nvidia warnt, dass das Herunterladen aller erforderlichen Dateien ziemlich viel Speicherplatz verbrauchen wird – 50 GB bis 100 GB, je nach Modell( s) ausgewählt.
Derzeit funktioniert Chat mit RTX mit den Formaten Text, PDF, .doc, .docx und .xml. Wenn Sie die App auf einen Ordner richten, der unterstützte Dateien enthält, werden die Dateien in den Feinabstimmungsdatensatz des Modells geladen. Darüber hinaus kann Chat with RTX die URL einer YouTube-Playlist verwenden, um Transkriptionen der Videos in der Playlist zu laden, sodass das ausgewählte Modell seine Inhalte abfragen kann.
Nun sind bestimmte Einschränkungen zu beachten, die Nvidia in einer Anleitung erläutert.
Bildnachweis: Nvidia
Chat mit RTX kann sich keinen Kontext merken, was bedeutet, dass die App bei der Beantwortung von Folgefragen keine vorherigen Fragen berücksichtigt. Wenn Sie beispielsweise fragen: „Was ist ein in Nordamerika verbreiteter Vogel?“ und fragen Sie anschließend: „Welche Farben hat es?“. Wenn Sie mit RTX chatten, wissen Sie nicht, dass es sich um Vögel handelt.
Nvidia erkennt außerdem an, dass die Relevanz der Antworten der App durch eine Reihe von Faktoren beeinflusst werden kann, von denen einige leichter zu kontrollieren sind als andere – darunter die Frageformulierung, die Leistung des ausgewählten Modells und die Größe des Feinabstimmungsdatensatzes. Die Abfrage von Fakten, die in mehreren Dokumenten behandelt werden, führt wahrscheinlich zu besseren Ergebnissen als die Abfrage einer Zusammenfassung eines Dokuments oder einer Reihe von Dokumenten. Und die Antwortqualität wird sich im Allgemeinen mit größeren Datensätzen verbessern – ebenso wie die Weiterleitung von Chat mit RTX auf mehr Inhalte zu einem bestimmten Thema, sagt Nvidia.
Daher ist Chat mit RTX eher ein Spielzeug als irgendetwas, das in der Produktion verwendet werden kann. Dennoch gibt es einiges zu sagen über Apps, die es einfacher machen, KI-Modelle lokal auszuführen – was ein wachsender Trend ist.
In einem aktuellen Bericht prognostizierte das Weltwirtschaftsforum ein „dramatisches“ Wachstum bei erschwinglichen Geräten, mit denen GenAI-Modelle offline betrieben werden können, darunter PCs, Smartphones, Geräte für das Internet der Dinge und Netzwerkgeräte. Die Gründe liegen laut WEF in den klaren Vorteilen: Offline-Modelle sind nicht nur von Natur aus privater – die Daten, die sie verarbeiten, verlassen nie das Gerät, auf dem sie ausgeführt werden –, sie weisen auch eine geringere Latenz auf und sind kostengünstiger als in der Cloud gehostete Modelle.
Natürlich öffnet die Demokratisierung von Tools zum Ausführen und Trainieren von Modellen böswilligen Akteuren Tür und Tor – eine oberflächliche Google-Suche liefert viele Einträge für Modelle, die auf toxische Inhalte aus skrupellosen Ecken des Internets abgestimmt sind. Befürworter von Apps wie Chat with RTX argumentieren jedoch, dass die Vorteile die Nachteile überwiegen. Wir müssen abwarten und sehen.