LLMs hungern nach Daten und Speicher
LLM-basierte Chatbots wie ChatGPT und Claude sind sehr daten- und speicherintensiv. Diese Modelle benötigen normalerweise viel Speicher, um zu funktionieren. Solche Anforderungen können für Geräte wie iPhones mit begrenzter Speicherkapazität eine Herausforderung darstellen.
Um dieses Problem anzugehen, haben Apple-Forscher eine neue Technik entwickelt, die Folgendes nutzt: Flash-Speicher um die Daten des KI-Modells zu speichern. Dies ist derselbe Speicher, in dem auch Apps und Fotos gespeichert sind.
Wie Apple vorgehen will LLMs auf iPhones
In einer neuen Forschungsarbeit mit dem Titel „LLM im Nu: Efficient Large Language Model Inference with Limited Memory“ (zuerst entdeckt von MacRumors), haben die Autoren behauptet Flash-speicher ist in mobilen Geräten häufiger vorhanden als der RAM, der traditionell zum Ausführen von LLMs verwendet wird. Ihre Methode umgeht diese Einschränkung mithilfe von zwei Schlüsseltechniken, die die Datenübertragung minimieren und den Flash-Speicherdurchsatz maximieren. Diese Methoden sind:
Fensterung: Dies ist wie eine Recyclingmethode. Anstatt jedes Mal neue Daten zu laden, verwendet das KI-Modell einige der bereits verarbeiteten Daten wieder. Dies reduziert den Bedarf an ständigem Speicherabruf und macht den Prozess schneller und reibungsloser.
Zeilen-Spalten-Bündelung: Diese Technik ähnelt dem Lesen eines Buches in größeren Abschnitten statt nur einem Wort nach dem anderen. Es kann Daten effizienter gruppieren, die schneller aus dem Flash-Speicher gelesen werden können. Diese Methode beschleunigt auch die Fähigkeit der KI, Sprache zu verstehen und zu generieren.
Das Papier legt nahe, dass die Kombination dieser Methoden es KI-Modellen ermöglichen wird, bis zu doppelt so groß zu sein iPhone’s verfügbarer Speicher. Es wird erwartet, dass diese Methode die Geschwindigkeit auf Standardprozessoren (CPUs) um das 4- bis 5-fache und bei Grafikprozessoren (GPUs) um das 20- bis 25-fache erhöht.
Die Autoren bemerken: „Dieser Durchbruch ist besonders wichtig für den Einsatz fortschrittlicher LLMs in ressourcenbeschränkten Umgebungen und erweitert dadurch ihre Anwendbarkeit und Zugänglichkeit.“
Wie diese Methode die KI-Funktionen auf iPhones verbessern wird
Der jüngste Durchbruch in der KI-Effizienz wird neue Möglichkeiten für zukünftige iPhones eröffnen. Dazu gehören erweiterte Siri-Funktionen, Sprachübersetzung in Echtzeit und andere KI-gesteuerte Funktionen in der Fotografie und Augmented Reality. Die Technologie wird iPhones auch dabei helfen, komplexe KI-Assistenten und Chatbots auf dem Gerät auszuführen, an denen Apple angeblich bereits arbeitet.
Im Februar veranstaltete Apple einen KI-Gipfel und informierte die Mitarbeiter über sein großes Sprachmodell. Letztendlich könnte Apples Arbeit an generativer KI in seinem Sprachassistenten „Siri“ zum Einsatz kommen.
Apfel Berichten zufolge entwickelt das Unternehmen eine intelligentere Version von Siri, die tief in die KI integriert ist Bloomberg. Das Unternehmen plant, die Art und Weise zu aktualisieren, wie „Siri“ mit der Nachrichten-App interagiert. Dadurch können Benutzer komplexe Fragen effektiver beantworten und Sätze automatisch vervollständigen. Darüber hinaus plant Apple Berichten zufolge auch, so viele Apps wie möglich mit KI auszustatten.
Berichten zufolge entwickelt der iPhone-Hersteller auch ein eigenes generatives KI-Modell namens „Ajax“. Ajax arbeitet mit 200 Milliarden Parametern, was auf ein hohes Maß an Komplexität und Leistungsfähigkeit beim Verstehen und Generieren von Sprachen schließen lässt.
Ajax, intern als „Apple GPT“ bekannt, zielt darauf ab, die Entwicklung maschinellen Lernens im gesamten Unternehmen zu vereinheitlichen. Dies deutet auf eine umfassendere Strategie des Unternehmens hin, KI stärker in das Apple-Ökosystem zu integrieren.
Gerüchte deuten auch darauf hin, dass Apple möglicherweise eine Art generative KI-Funktion in iOS 18 integrieren wird, die etwa Ende 2024 auf dem „iPhone“ und dem iPad verfügbar sein wird. Im Oktober sagte Analyst Jeff Pu, dass Apple im Jahr 2023 einige hundert KI-Server baut und noch mehr wird voraussichtlich bis 2024 eintreffen. Apple wird wahrscheinlich eine Kombination aus Cloud-basierter KI und KI mit Verarbeitung auf dem Gerät anbieten.