Da Unternehmen immer komplexere Modelle für maschinelles Lernen erstellen, werden die Kosten für das Training und den Betrieb dieser Modelle zu einem echten Problem. AWS hat eine Reihe benutzerdefinierter Instances erstellt, um die Kosten zu senken, und heute eine Vorschau auf eine brandneue Inf2-Instance für EC2 vorgestellt, die darauf ausgelegt ist, Daten aus größeren Workloads effizienter zu verarbeiten.
AWS-CEO Adam Selipsky machte die Ankündigung heute auf der AWS re:Invent in Las Vegas.
Wie Selipsky dem AWS re:Invent-Publikum sagte: „Inf1 eignet sich hervorragend für Modelle mit kleiner bis mittlerer Komplexität, aber bei größeren Modellen haben sich Kunden oft auf leistungsfähigere Instanzen verlassen, weil sie nicht über die optimale Ressourcenkonfiguration für ihre Inferenz verfügen Arbeitsbelastung.“
Sie taten dies, weil es bis jetzt einfach keine andere Lösung gab, um die Kosten und die Komplexität der Verarbeitung dieser größeren Workloads zu senken.
„Sie möchten die Lösung wählen, die am besten zu Ihren spezifischen Anforderungen passt, weshalb ich mich freue, heute eine Vorschau der Inf2-Instance anzukündigen, die von unserem neuen Inferenz-Zwei-Chip unterstützt wird“, sagte er.
Für Leute, die diese zusätzliche Leistung benötigen, bietet Inf2 sie. „Kunden können ein 175-Milliarden-Parameter-Modell für Inferenzen auf einem einzigen Instrument mit viermal höherem Durchsatz und 1/10 der Latenzzeit von Inf1-Instanzen einsetzen“, sagte er.
Die neuen Instanzen sind ab heute in der Vorschau verfügbar.
