KI -Forscher in Stanford und der University of Washington konnten ein KI -Argumentationsmodell für weniger als 50 US -Dollar in Cloud -Rechenkrediten ausbilden, so eine neue Forschungspapier veröffentlicht letzten Freitag.
Das als S1 bekannte Modell führt ähnlich wie hochmoderne Argumentationsmodelle wie O1s O1 und Deepseeks R1 bei Tests zur Messung von Mathematik- und Codierungsfähigkeiten. Das S1 -Modell ist Erhältlich auf GitHubzusammen mit den Daten und dem Code, mit dem sie trainiert werden.
Das Team hinter S1 sagte, sie hätten mit einem Basismodell außerhalb der Strecke begonnen und es dann durch Destillation abgestimmt, einen Prozess, um die Funktionen der „Argumentation“ aus einem anderen KI-Modell zu extrahieren, indem er seine Antworten trainierte.
Die Forscher sagten, S1 sei aus einem der Argumentationsmodelle von Google, Gemini 2.0 Flash Thinking Experimental, destilliert. Die Destillation ist der gleiche Ansatz, der im letzten Monat ein KI -Argumentationsmodell für rund 450 US -Dollar für rund 450 US -Dollar erstellt hat.
Für manche ist die Idee, dass einige Forscher ohne Millionen von Dollar dahinter im KI -Raum noch innovativ sind. S1 wirft jedoch echte Fragen zur Commoditisierung von AI -Modellen auf.
Wo ist der Wassergraben, wenn jemand ein millionenschweres Modell mit relativer Taschenänderung genau replizieren kann?
Es ist nicht überraschend, dass große AI -Labors nicht glücklich sind. OpenAI hat Deepseek beschuldigt, für die Zwecke von nicht ordnungsgemäß Daten von seiner API zu ernten Modelldestillation.
Die Forscher hinter S1 wollten den einfachsten Ansatz finden, um eine starke Argumentationsleistung und „Testzeitskalierung“ zu erzielen oder ein KI-Modell zu ermöglichen, mehr nachzudenken, bevor es eine Frage beantwortet. Dies waren einige der Durchbrüche in Openai’s O1, die Deepseek und andere AI -Labors durch verschiedene Techniken replizieren versucht haben.
Das S1-Papier schlägt vor, dass Argumentationsmodelle mit einem relativ kleinen Datensatz unter Verwendung eines Prozesses bezeichnet werden können, der bezeichnet wird, bezeichnet, in dem ein KI-Modell explizit angewiesen wird, bestimmte Verhaltensweisen in einem Datensatz nachzuahmen.
SFT ist tendenziell billiger als die groß angelegte Verstärkungslernmethode, die Deepseek verwendet hat, um seinen Konkurrenten für das O1-Modell von OpenAI, R1, auszubilden.
Google bietet über seine Google AI Studio -Plattform einen kostenlosen Zugang zu Gemini 2.0 Flash Thinking Experimental Experimental.
Die Begriffe von Google verbieten seine Modelle umgekehrt, um Dienste zu entwickeln, die mit den eigenen KI-Angeboten des Unternehmens konkurrieren. Wir haben uns an Google gewandt, um einen Kommentar zu erhalten.
S1 basiert auf einem kleinen AI-Modell außerhalb des Schelfs von Alibaba-Besitz in Chinese AI Lab Qwen, das kostenlos heruntergeladen werden kann. Um S1 zu trainieren, erstellten die Forscher einen Datensatz von nur 1.000 sorgfältig kuratierten Fragen, gepaart mit Antworten auf diese Fragen sowie den „Denken“ -Prozess hinter jeder Antwort von Googles Gemini 2.0 Flash Thinking Experiment.
Nach dem Training S1, der weniger als 30 Minuten mit 16 NVIDIA H100 GPUs dauerte, erzielte S1 nach Angaben der Forscher eine starke Leistung bei bestimmten KI -Benchmarks. Niklas Muennighoff, ein Stanford -Forscher, der an dem Projekt arbeitete, sagte gegenüber Tech, er könne heute den notwendigen Berechnung für etwa 20 US -Dollar mieten.
Die Forscher nutzten einen raffinierten Trick, um S1 zu ermöglichen, um seine Arbeit zu überprüfen und seine „denkende“ Zeit zu verlängern: Sie sagten, dass sie warten sollen. Das Hinzufügen des Wortes „Warten“ während der Argumentation von S1 half dem Modell, nach dem Papier etwas genauere Antworten zu erhalten.
Im Jahr 2025, Meta, Google und Microsoft Planen Sie, Hunderte von Milliarden Dollar in die AI -Infrastruktur zu investierendie teilweise in die Ausbildung von KI-Modellen der nächsten Generation gelangen.
Dieser Investitionsniveau kann weiterhin notwendig sein, um den Umschlag von AI -Innovation zu treiben. Die Destillation hat sich als eine gute Methode gezeigt, um die Funktionen eines KI-Modells billig neu zu erstellen, aber es kreiert keine neuen KI-Modelle, die heute verfügbar sind als das, was heute verfügbar ist.