Union.ai, ein Startup, das mit einer kommerziellen Version der Open-Source-KI-Orchestrierungsplattform Flyte aus dem Verborgenen hervorgegangen ist, gab heute bekannt, dass es in einer von NEA und „ausgewählten“ Angel-Investoren beigesteuerten Runde 10 Millionen US-Dollar gesammelt hat. CEO Ketan Umare sagt, dass der Erlös zur Unterstützung der Flyte-Community verwendet wird, indem „die Zugänglichkeit, Leistung und Zuverlässigkeit von Flyte verbessert“ und das Spektrum der Systeme, in die Flyte integriert ist, erweitert wird.
Während Unternehmen die Vorhersagekraft von KI verlockend finden, insbesondere auf der Datenanalyseseite der Organisation, erweist es sich oft als Herausforderung, mit KI aussagekräftige Ergebnisse zu erzielen. Es ist wahr, dass KI helfen kann, Einnahmen zu prognostizieren, indem sie beispielsweise Trends beim Kauf und Verkauf identifiziert. Die Implementierung und Wartung der Datenpipelines, die erforderlich sind, um zu verhindern, dass KI-Systeme zu Ungenauigkeiten abdriften, kann jedoch erhebliche technische Ressourcen erfordern.
Hier kommt Flyte ins Spiel – eine Plattform zur Programmierung und Verarbeitung gleichzeitiger KI- und Datenanalyse-Workflows. Das Team von Union, einschließlich Umare, half beim Bau von Flyte, während es bei Lyft arbeitete, wo es dazu diente, ein System zur Berechnung der geschätzten Ankunftszeit (ETA) für Fahrer zu erstellen, um von Punkt A nach Punkt B zu gelangen.
„[Union’s] Die Gründer trafen sich zum ersten Mal bei Lyft, wo wir uns dem Team anschlossen, das für die Berechnung der ETA für einen Lyft-Fahrer verantwortlich war, um von Punkt A nach Punkt B zu gelangen“, sagte Umare Tech per E-Mail. „Die Suche nach der richtigen Lösung führte das Team tief in die Techniken des maschinellen Lernens ein, die mit der Anforderung einhergingen, große Datenmengen zu verwenden und robuste Modelle konsistent an die Produktion zu liefern … Die verwendeten Techniken waren plattformbasiert, und die Lösung wurde bei Lyft weit verbreitet.“
Lyft trug Flyte 2020 zu Open Source bei und übertrug die Marke ein Jahr später an die Linux Foundation. Da sah das Team von Union eine Möglichkeit, kostenpflichtige Dienste auf das Projekt in der Cloud zu legen.
„Eine verwaltete Version von Flyte namens Union Cloud wird es kleineren Teams und Organisationen ermöglichen, die Leistungsfähigkeit von Flyte zu nutzen, ohne Infrastrukturteams aufstocken zu müssen“, fuhr Umare fort. „Wir [founded Union] weil wir glauben, dass maschinelles Lernen und Daten-Workflows sich grundlegend von Softwarebereitstellungen unterscheiden. Dies liegt daran, dass Software präziser ist und einen langsameren Lebenszyklus hat, während maschinelles Lernen und Datenworkflows zunächst experimentell sind und möglicherweise schnell in die Produktion gebracht werden müssen.“
Flyte nehmen
Die anderen Mitbegründer von Umare und Union, Haytham Abuelfutuh und George Snelling, haben alle einen tiefgreifenden Hintergrund in der Technologiebranche. Bevor er zu Lyft kam, war Umare Senior Software Engineer bei Amazon und Principal Engineer bei Oracle, wo er die Entwicklung eines Blockspeicherprodukts für ein Infrastructure-as-a-Service- und Bare-Metal-Angebot leitete. Abuelfutuh verbrachte sieben Jahre als Ingenieur bei Microsoft und drei Jahre als Entwickler bei Google, wo er half, eine interne Softwarebibliothek für Erstanbieter-Apps, einschließlich Google Fotos, bereitzustellen. Snelling – ebenfalls ein Microsoft-Veteran – war Mitbegründer mehrerer Startups (Westside, LabKey und Patchr) und verbrachte einige Zeit bei Salesforce als Senior Director of Engineering.
Mit Union Cloud – deren Start mit der Veröffentlichung von Flyte Version 1.0 zusammenfällt – ist das Ziel laut Umare, die unhandliche Infrastruktur zu reduzieren (und idealerweise zu eliminieren), die in Data-Science-Projekten und bei der Entwicklung von Kniesehnen auftauchen kann. Im schlimmsten Fall können unsaubere Abstraktionen den Wiederaufbau der Infrastruktur erforderlich machen, um KI in der Produktion einzusetzen, betont Umare – was sich negativ auf die potenzielle Kapitalrendite auswirkt.
Laut einer Wakefield-Forschung aus dem Jahr 2021 Prüfberichtverbringen Data Engineers in Unternehmen fast die Hälfte ihrer Zeit mit dem Aufbau und der Wartung von Datenpipelines. 69 Prozent der Befragten – hauptsächlich Dateningenieure – gaben an, dass sich die Geschäftsergebnisse verbessern würden, wenn ihre Teams mehr zu Geschäftsentscheidungen beitragen und weniger Zeit für manuelles Pipeline-Management aufwenden könnten.
„Production Machine Learning steckt derzeit noch in den Kinderschuhen, insbesondere bei Unternehmen außerhalb von Big Tech. Daher beginnen die meisten Unternehmen mit Heimwerken – das ist unsere Hauptkonkurrenz“, sagte Umare. „Wir haben einen radikal anderen Ansatz gewählt, um zu definieren, was ein Workflow für maschinelles Lernen und Data Scientists bedeutet. Wir begannen mit dem Ziel, menschliche Fehler zu minimieren und Probleme frühzeitig vorherzusagen [and worked] eng mit äußerst anspruchsvollen und vielfältigen Partnern wie Spotify, Gojek und Freenome [to help] Verfeinern Sie die Lösung.“
Union Cloud erbt alle Merkmale und Fähigkeiten von Flyte, einschließlich Konnektoren zwischen Berechnungs-Backends, die alle Änderungen an einer KI-Pipeline aufzeichnen. Union Cloud speichert auch einen Verlauf aller Ausführungen einer Pipeline und bietet ein Dashboard, eine Befehlszeilenschnittstelle und eine API zur Interaktion mit den Berechnungen.
Union Cloud – und Flyte – definieren Workflows als mehrere Aufgaben. Workflows und Aufgaben können in jeder Programmiersprache geschrieben werden und bleiben lokal, ebenso wie die Daten, die durch diese Komponenten bewegt werden.
Cloud-Vorteil
Was ist also der Mehrwert von Union Cloud? Umare sagt, dass es Flyte „Agilität, Reproduzierbarkeit und Sicherheit“ hinzufügt, indem es das Infrastrukturmanagement zentralisiert und „hohe“ Datenschutz- und Compliance-Standards aufrechterhält. „Unsere Produkte werden nach Zero-Trust-Prinzipien entwickelt und können daher von unseren Benutzern verwendet werden [it] um eine Self-Service-Plattform aufzubauen, die dennoch hohe Sicherheitsstandards einhält“, fuhr er fort. „Data Science ist sehr akademisch, was sich direkt auf das maschinelle Lernen auswirkt. Es gibt eine Menge fantastischer Forschung und Literatur, die in der Wissenschaft verfügbar ist, die schwer zu produzieren ist. Wir müssen diese beiden Welten auf strukturierte und wiederholbare Weise verbinden.“
Umare sieht die Union Cloud auch als eine Möglichkeit, die Kosten für die Entwicklung neuer Produkte und Systeme auf eine Weise zu senken, die das Open-Source-Flyte-Projekt nicht leisten kann. Er räumt zwar ein, dass es ähnliche Bemühungen von anderen Anbietern gibt, wie z AWS Sagemakerglaubt er, dass sie sich nicht gut in den Rest des Data-Science-Ökosystems integrieren lassen.
„Wir beschäftigen uns seit über fünf Jahren mit diesem Problem, verfeinern unsere Lösung und iterieren basierend auf Feedback und Anforderungen aus der Praxis“, sagte Umare. „Der Bereich des maschinellen Lernens ist bereits groß und wächst auch in traditionellen Unternehmen. Wir sehen das Wachstumspotenzial jedoch nicht durch die Größe der aktuellen Nachfrage begrenzt, sondern eher durch die Erfahrung, die wir liefern können, weshalb wir uns ausschließlich auf den Kundenerfolg und die Einführung von Open Source konzentriert haben. Dies wird in naher Zukunft zu einem Umsatzwachstum führen.“
Zum Thema Wachstum plant Union, seine 20-köpfige Belegschaft bis Ende des Jahres zu verdoppeln, da es sich auf den Produktausbau konzentriert. Umare hatte keine Statistiken über das Interesse oder die Akzeptanz von Union Cloud zu teilen, wiederholte jedoch, dass „Tausende“ von Benutzern in Unternehmen wie Lyft, Spotify, der Toyota-Tochter Woven Planet sowie Biotech- und Finanzmarken Flyte übernommen haben.