Kaum eine Woche nachdem Deepseek sein R1 -KI -Modell „Argumenting“ veröffentlicht hatte, das Märkte in ein tizzieres Face sandte, versuchen Forscher bei Sugging Face, das Modell von Grund auf neu zu replizieren, was sie als Verfolgung von „offenem Wissen“ bezeichnen.
Umarme Gesichtsleiter von Research Leandro von Werra und mehrere Firmeningenieure haben Open-R1 gestartetein Projekt, das ein Duplikat von R1 und Open Source alle Komponenten erstellen soll, einschließlich der Daten, die zum Training verwendet werden.
Die Ingenieure sagten, sie seien gezwungen, von Deepseeks „Black Box“ -Revertastungsphilosophie zu handeln. Technisch gesehen ist R1 insofern „offen“, als das Modell zulässt lizenziert ist, was bedeutet, dass es weitgehend ohne Einschränkungen eingesetzt werden kann. R1 ist jedoch nicht „Open Source“, da viele der Tools, mit denen es aufgebaut wurde, im Geheimnis gehüllt sind. Wie viele hochfliegende KI-Unternehmen ist Deepseek es verabschiedet, seine geheime Sauce zu enthüllen.
„Das R1-Modell ist beeindruckend, aber es gibt keinen offenen Datensatz, Experimentdetails oder Zwischenmodelle, was die Replikation und die weitere Forschung erschwert“, sagte Elie Bakouch, einer der umarmenden Gesichtsingenieure des Open-R1-Projekts gegenüber Tech. „Die vollständige Architektur von R1 von Open-Sourcing geht nicht nur um Transparenz, sondern darum, ihr Potenzial auszuschöpfen.“
Nicht so offen
Deepseek, ein chinesisches KI -Labor, das zum Teil von einem quantitativen Hedgefonds finanziert wurde, hat letzte Woche R1 veröffentlicht. Bei einer Reihe von Benchmarks sind R1 -Übereinstimmungen – und übertrifft sogar – die Leistung des O1 -Argumentationsmodells von Openai.
Als Argumentationsmodell überprüft R1 sich selbst effektiv selbst, wodurch einige der Fallstricke vermieden werden, die normalerweise Modelle stolpern. Die Argumentationsmodelle dauern etwas länger-normalerweise Sekunden bis Minuten länger-, um zu Lösungen zu gelangen, im Vergleich zu einem typischen Nicht-Begrenzungsmodell. Der Vorteil ist, dass sie in Bereichen wie Physik, Naturwissenschaften und Mathematik tendenziell zuverlässiger sind.
R1 brach nach Deepseeks Chatbot -App in das Mainstream -Bewusstsein ein, der freien Zugriff auf R1 bietet. Rose an die Spitze der Apple App Store -Charts. Die Geschwindigkeit und Effizienz, mit der R1 entwickelt wurde – Deepseek veröffentlichte das Modell nur Wochen nach der Veröffentlichung von O1 – hat viele Wall Street -Analysten und -Technologen in Frage gestellt, ob die USA ihre Führung im KI -Rennen aufrechterhalten können.
Das Open-R1-Projekt ist weniger besorgt über die US-KI-Dominanz als „die Black Box of Model Training vollständig“, sagte Bakouch gegenüber Tech. Er stellte fest, dass es schwierig ist, das Modell eingehend zu untersuchen, weil R1 nicht mit Trainingscode oder Trainingsanweisungen veröffentlicht wurde – geschweige denn sein Verhalten.
„Die Kontrolle über den Datensatz und den Prozess ist entscheidend für die Bereitstellung eines Modells in sensiblen Bereichen“, sagte Bakouch. „Es hilft auch beim Verstehen und Ansprechen von Vorurteilen im Modell. Forscher benötigen mehr als Fragmente […] die Grenzen dessen überschreiten, was möglich ist. “
Schritte zur Replikation
Ziel des Open-R1-Projekts ist es, R1 in wenigen Wochen zu replizieren und sich teilweise auf den Science-Cluster von Face, einen dedizierten Forschungsserver mit 768 NVIDIA H100-GPUs, zu replizieren.
Die umarmenden Gesichtsingenieure planen, auf den Science -Cluster zu tippen, um Datensätze zu generieren, die denen Deepseek ähneln, die zum Erstellen von R1 verwendet werden. Um eine Trainingspipeline aufzubauen, bittet das Team um Hilfe bei der KI und den breiteren Technologiegemeinschaften für Umarmung und Github, wo das Open-R1-Projekt veranstaltet wird.
„Wir müssen sicherstellen, dass wir die Algorithmen und Rezepte implementieren [correctly,]“Von Werra sagte zu Tech:“ Aber es ist etwas, was eine Community -Anstrengung perfekt ist, wenn man das Problem so viele Augen wie möglich angeht. „
Es gibt schon viel Interesse. Das Open-R1-Projekt hat in nur drei Tagen 10.000 Sterne auf GitHub erzielt. Stars sind eine Möglichkeit für Github -Benutzer, anzuzeigen, dass sie ein Projekt mögen oder es nützlich finden.
Wenn das Open-R1-Projekt erfolgreich ist, können KI-Forscher auf der Schulungspipeline aufbauen und an der Entwicklung der nächsten Generation von Open-Source-Argumentationsmodellen arbeiten, sagte Bakouch. Er hofft, dass das Open-R1-Projekt nicht nur eine starke Open-Source-Replikation von R1 liefert, sondern auch eine Grundlage für bessere Modelle.
„Open Source Development zu einem Spiel mit Nullsummen zugute kommt sofort zu allen, einschließlich der Frontier Labs und der Modellanbieter, da sie alle dieselben Innovationen verwenden können“, sagte Bakouch.
Während einige KI -Experten Bedenken hinsichtlich des Potenzials von Open Source -KI -Missbrauch hervorgebracht haben, ist Bakouch der Ansicht, dass die Vorteile die Risiken überwiegen.
„Wenn das R1 -Rezept repliziert wurde, kann jeder, der einige GPUs mieten kann, seine eigene Variante von R1 mit eigenen Daten erstellen und die Technologie überall weiter verbreitet“, sagte er. „Wir freuen uns sehr über die jüngsten Open Source -Veröffentlichungen, die die Rolle der Offenheit in der KI stärken. Es ist eine wichtige Verschiebung für das Feld, die die Erzählung verändert, dass nur eine Handvoll Labors in der Lage sind, Fortschritte zu erzielen, und dass Open Source zurückbleibt. “