Die künstliche Intelligenztechnologie hinter ChatGPT wurde in Iowa entwickelt – mit viel Wasser

Die Kosten für die Entwicklung eines Produkts für künstliche Intelligenz wie ChatGPT können schwer zu messen sein.

Aber eine Sache, die das von Microsoft unterstützte OpenAI für seine Technologie brauchte, war reichlich Wasser, das aus dem Wassereinzugsgebiet der Flüsse Raccoon und Des Moines in Zentral-Iowa entnommen wurde, um einen leistungsstarken Supercomputer zu kühlen, der seinen KI-Systemen beibrachte, menschliches Schreiben nachzuahmen.

Führende Technologieentwickler wie Microsoft, OpenAI und Google haben im Wettlauf um die Begeisterung für generative KI erkannt, dass die wachsende Nachfrage nach ihren KI-Tools hohe Kosten mit sich bringt, von teuren Halbleitern bis hin zu einem erhöhten Wasserverbrauch.

Über die Einzelheiten machen sie jedoch oft Stillschweigen. Nur wenige Menschen in Iowa wussten über seinen Status als Geburtsort des fortschrittlichsten großen Sprachmodells von OpenAI, GPT-4, Bescheid, bevor ein hochrangiger Microsoft-Manager in einer Rede sagte, es sei „im wahrsten Sinne des Wortes neben Maisfeldern westlich von Des Moines entstanden“.

Der Aufbau eines großen Sprachmodells erfordert die Analyse von Mustern in einem riesigen Bestand an von Menschen geschriebenen Texten. Diese ganze Rechenleistung verbraucht viel Strom und erzeugt viel Wärme. Um es an heißen Tagen kühl zu halten, müssen Rechenzentren Wasser einpumpen – oft in einen Kühlturm außerhalb ihrer lagergroßen Gebäude.

In seinem Aktueller UmweltberichtMicrosoft gab bekannt, dass der weltweite Wasserverbrauch von 2021 bis 2022 um 34 % gestiegen ist (auf fast 1,7 Milliarden Gallonen oder mehr als 2.500 olympische Schwimmbäder), ein starker Anstieg im Vergleich zu den Vorjahren, den externe Forscher mit seiner KI-Forschung in Verbindung bringen.

„Man kann mit Recht sagen, dass der Großteil des Wachstums auf KI zurückzuführen ist“, einschließlich „ihrer hohen Investitionen in generative KI und der Partnerschaft mit OpenAI“, sagte Shaolei Ren, ein Forscher an der University of California, Riverside, der versucht hat, das zu berechnen Umweltauswirkungen generativer KI-Produkte wie ChatGPT.

In einem Artikel, der später in diesem Jahr veröffentlicht werden soll, schätzt Rens Team, dass ChatGPT jedes Mal 500 Milliliter Wasser (ungefähr so ​​viel wie in einer 16-Unzen-Wasserflasche) schluckt, wenn man ihm eine Reihe von 5 bis 50 Eingabeaufforderungen oder Fragen stellt. Die Reichweite variiert je nach Standort der Server und Saison. Die Schätzung berücksichtigt den indirekten Wasserverbrauch, den die Unternehmen nicht messen – etwa zur Kühlung von Kraftwerken, die die Rechenzentren mit Strom versorgen.

„Die meisten Menschen sind sich der Ressourcennutzung, die ChatGPT zugrunde liegt, nicht bewusst“, sagte Ren. „Wenn Sie sich der Ressourcennutzung nicht bewusst sind, können wir nicht zur Ressourcenschonung beitragen.“

Google gemeldet ein 20-prozentiger Anstieg des Wasserverbrauchs im gleichen Zeitraum, den Ren ebenfalls größtenteils auf seine KI-Arbeit zurückführt. Der Anstieg von Google war nicht einheitlich – in Oregon, wo der Wasserverbrauch öffentliche Aufmerksamkeit erregt hat, war er konstant, während er sich außerhalb von Las Vegas verdoppelte. Auch in Iowa war es durstig und versorgte die Rechenzentren in Council Bluffs mit mehr Trinkwasser als anderswo.

Als Antwort auf Fragen von The Associated Press sagte Microsoft diese Woche in einer Erklärung, dass es in die Forschung investiere, um den Energie- und CO2-Fußabdruck von KI zu messen, „während man an Möglichkeiten arbeitet, große Systeme effizienter zu machen, sowohl beim Training als auch bei der Anwendung“.

„Wir werden unsere Emissionen weiterhin überwachen, den Fortschritt beschleunigen und gleichzeitig den Einsatz sauberer Energie für die Stromversorgung von Rechenzentren, den Kauf erneuerbarer Energien und andere Anstrengungen erhöhen, um unsere Nachhaltigkeitsziele zu erreichen, bis 2030 kohlenstoffnegativ, wasserpositiv und null Abfall zu sein“, sagte der heißt es in der Erklärung des Unternehmens.

OpenAI wiederholte diese Kommentare in seiner eigenen Stellungnahme am Freitag und sagte, dass man sich „erhebliche Gedanken“ über die optimale Nutzung der Rechenleistung mache.

„Wir sind uns bewusst, dass das Training großer Modelle energie- und wasserintensiv sein kann“ und arbeiten an einer Verbesserung der Effizienz, hieß es.

Microsoft investierte 2019 erstmals eine Milliarde US-Dollar in das in San Francisco ansässige Unternehmen OpenAI, mehr als zwei Jahre bevor das Startup ChatGPT einführte und weltweite Faszination für KI-Fortschritte weckte. Im Rahmen der Vereinbarung würde der Softwareriese die für das Training der KI-Modelle erforderliche Rechenleistung bereitstellen.

Um zumindest einen Teil dieser Arbeit zu erledigen, wandten sich die beiden Unternehmen an West Des Moines, Iowa, eine Stadt mit 68.000 Einwohnern, in der Microsoft seit mehr als einem Jahrzehnt Rechenzentren für seine Cloud-Computing-Dienste aufgebaut hat. Das vierte und fünfte Rechenzentrum sollen dort noch in diesem Jahr eröffnen.

„Sie bauen sie so schnell wie möglich“, sagte Steve Gaer, der Bürgermeister der Stadt war, als Microsoft in die Stadt kam. Gaer sagte, das Unternehmen sei von dem Engagement der Stadt für den Aufbau öffentlicher Infrastruktur angetan und habe durch Steuerzahlungen, die diese Investition unterstützen, eine „erstaunliche“ Summe beigesteuert.

„Aber wissen Sie, sie haben ziemlich geheim gehalten, was sie da draußen machen“, fügte er hinzu.

Microsoft gab erstmals im Jahr 2020 bekannt, dass es einen der leistungsstärksten Supercomputer der Welt für OpenAI entwickeln würde, lehnte es jedoch ab, AP seinen damaligen Standort preiszugeben, sondern beschrieb es als „einzelnes System“ mit mehr als 285.000 Kernen aus herkömmlichen Halbleitern und 10.000 Grafikprozessoren -eine Art von Chip, der entscheidend geworden ist zu KI-Workloads.

Experten sagen, dass es aufgrund der großen Datenmengen, die zwischen Rechenkernen übertragen werden müssen, sinnvoll sein kann, ein KI-Modell an einem einzigen Standort vorab zu trainieren.

Erst Ende Mai gab Microsoft-Präsident Brad Smith bekannt, dass das Unternehmen sein „hochmodernes KI-Supercomputing-Rechenzentrum“ in Iowa ausschließlich zu dem Zweck gebaut habe, OpenAI in die Lage zu versetzen, sein Modell der vierten Generation, GPT-4, zu trainieren. Das Modell basiert jetzt auf Premium-Versionen von ChatGPT und einigen Microsoft-eigenen Produkten und hat eine Debatte über die Eindämmung der gesellschaftlichen Risiken von KI beschleunigt.

„Es wurde von diesen außergewöhnlichen Ingenieuren in Kalifornien hergestellt, aber es wurde wirklich in Iowa hergestellt“, sagte Smith.

In mancher Hinsicht ist West Des Moines ein relativ effizienter Ort, um ein leistungsstarkes KI-System zu trainieren, insbesondere im Vergleich zu den Rechenzentren von Microsoft in Arizona, die bei gleichem Rechenbedarf weitaus mehr Wasser verbrauchen.

„Wenn Sie also KI-Modelle bei Microsoft entwickeln, sollten Sie Ihre Schulung in Iowa statt in Arizona planen“, sagte Ren. „Was das Training angeht, gibt es keinen Unterschied. Was den Wasserverbrauch oder den Energieverbrauch angeht, gibt es einen großen Unterschied.“

Die meiste Zeit des Jahres ist das Wetter in Iowa so kühl, dass Microsoft die Außenluft nutzen kann, um den Supercomputer ordnungsgemäß laufen zu lassen und die Wärme aus dem Gebäude abzuführen. Erst wenn die Temperatur 29,3 Grad Celsius (ca. 85 Grad Fahrenheit) überschreitet, wird Wasser entnommen, gab das Unternehmen in einer öffentlichen Mitteilung bekannt.

Das kann vor allem im Sommer immer noch viel Wasser sein. Im Juli 2022, dem Vormonat OpenAI sagt, es sei abgeschlossen Nach Angaben der West Des Moines Water Works hat Microsoft im Rahmen seines GPT-4-Trainings etwa 11,5 Millionen Gallonen Wasser in seine Rechenzentren in Iowa gepumpt. Das entsprach etwa 6 % des gesamten Wasserverbrauchs im Bezirk, der auch die Einwohner der Stadt mit Trinkwasser versorgt.

Im Jahr 2022 heißt es in einem Dokument der West Des Moines Water Works, dass sie und die Stadtregierung „zukünftige Rechenzentrumsprojekte“ von Microsoft nur dann in Betracht ziehen werden, wenn diese Projekte „Technologie demonstrieren und implementieren können, um den Spitzenwasserverbrauch vom aktuellen Niveau deutlich zu reduzieren“. Sicherstellung der Wasserversorgung für Wohn- und andere gewerbliche Zwecke.

Microsoft gab am Donnerstag bekannt, dass es direkt mit den Wasserwerken zusammenarbeitet, um auf sein Feedback einzugehen. In einer schriftlichen Erklärung sagte das Wasserwerk, das Unternehmen sei ein guter Partner gewesen und habe mit den örtlichen Behörden zusammengearbeitet, um seinen Wasser-Fußabdruck zu verringern und gleichzeitig seinen Bedarf zu decken.

© 2023 The Associated Press. Alle Rechte vorbehalten. Dieses Material darf ohne Genehmigung nicht veröffentlicht, ausgestrahlt, umgeschrieben oder weitergegeben werden.

ph-tech