Elementlein Startup, das eine Datenplattform basierend auf dem beliebten aufbaut Dagster-Orchestrator, gab heute bekannt, dass es eine von Georgian angeführte Serie-B-Runde im Wert von 33 Millionen US-Dollar eingeworben hat. An dieser Runde nahmen auch die neuen Investoren 8VC und Human Capital sowie die bestehenden Investoren Sequoia, Index, Amplify, Hanover und Slow teil. Die neue Runde erhöht die Gesamtfinanzierung des Unternehmens 48,8 Millionen US-Dollar.
Wie so oft gründete Dagster-Gründer Nick Schrock nach vielen Jahren bei Facebook auch Elementl, wo er auch GraphQL mitgestaltete. Schrock ist derzeit CTO und Vorsitzender des Unternehmens, sein ehemaliger Facebook-Kollege Pete Hunt ist jetzt CEO des Unternehmens. Wie Hunt mir erzählte, hatte er im Rahmen der Seed-Runde 2017 in Elementl investiert – hauptsächlich als Wette auf Schrock. Hunt gab zu, dass er zu diesem Zeitpunkt das Wertversprechen von Dagster nicht wirklich verstand, aber als er bei Facebook und später bei Smyte, dem von ihm mitbegründeten und später an Twitter verkauften Anti-Missbrauchsdienst, an weiteren Datenproblemen arbeitete, wurde das Die Notwendigkeit einer besseren Datenorchestrierung wurde ihm schnell klar.
Bildnachweis: Elementl
„Mir wurde klar, dass es diese großen, komplexen Datenpipelines gibt, die sehr schwerwiegende Entscheidungen treffen – nicht nur das Löschen von Social-Media-Beiträgen, sondern auch die Entscheidung, wer eine Hypothek bekommt, und so weiter. Sobald man eine bestimmte Größe erreicht, ist jedes Unternehmen ein Datenunternehmen und jedes Unternehmen verfügt über eine Datenplattform“, sagte Hunt. Das bedeutet auch, dass die Verwaltung ihrer Datenpipelines für viele Unternehmen eine der größten Herausforderungen darstellt.
Apache Airflow ist nach wie vor eines der beliebtesten Tools zum Aufbau dieser Pipelines (und es gibt viele Startups, die darauf setzen), aber Schrock wollte ein moderneres System aufbauen, das für die Welt der Cloud, DevOps und Container optimiert ist. Aber das Team hat Datenpipelines auch aus einer übergeordneten Perspektive neu überdacht. „Die Art und Weise, wie Menschen in der Vergangenheit Datenpipelines aufgebaut haben, besteht darin, in Aufgaben zu denken. Gehen Sie also von Schritt A zu Schritt B – und machen Sie dann Schritt C. Innerhalb dieser Schritte könnten sie alles tun, und Sie wissen es nicht wirklich – sie könnten auf eine Weise in eine Datenbank schreiben, die Sie nicht erwarten und zu der Sie keine Möglichkeit haben „Kontrollieren Sie dies oder sorgen Sie für Beobachtbarkeit in diesem Schritt“, erklärte Hunt.
Bildnachweis: Elementl
Elementl hat dies neu überdacht, indem es im Kern ein sogenanntes Datenasset (das eine Tabelle in einem Data Warehouse oder eine Datei in einem Data Lake sein kann) nennt. Anstatt Aufgaben als Kernabstraktion zu betrachten, konzentrieren sich Elementl (und Dagster) auf die Datenbestände. „Indem wir diesen Begriff eines Vermögenswerts in den Mittelpunkt unseres Systems stellen, erhalten wir ein Verzeichnis aller Datenbestände in der Organisation und aller Zustandsübergänge, die sie durchlaufen haben, zusammen mit allen damit verbundenen Metadaten. Das ist ein mentales Modell, das Entwickler lieben“, sagte Hunt.
Da es mit bewährten Tools wie Apache Airflow konkurriert, muss Dagster auch für große Organisationen gut funktionieren – und es muss außerdem ein legitimes Open-Source-Projekt sein. Wie die meisten Open-Source-Startups baut das Unternehmen beim Ausbau seines kommerziellen Angebots Unternehmensfunktionen wie Single Sign-On, rollenbasierten Zugriff und Support für Teams zusätzlich zum Open-Source-Projekt auf. Und da Airflow so beliebt ist, ist das Team auch seit Kurzem dabei ein Tool gestartet Dadurch können aktuelle Airflow-Benutzer für Airflow geschriebene Datenpipelines auf Dagster ausführen.
Im Laufe des letzten Jahres habe sich die Zahl der aktiven Projekte, die Dagster nutzen, verdreifacht, so das Unternehmen, und damit auch die gesamte Open-Source-Community rund um das Unternehmen. Derzeit nutzen Unternehmen wie DoorDash, Flexport und Aritzia Dagster in der Produktion.
„Dagster wurde von Grund auf entwickelt, um ein transformatives Entwicklererlebnis zu bieten und gleichzeitig die anspruchsvollsten Anwendungsfälle im Data Engineering zu unterstützen. Unsere einzigartigen Abstraktionen und unser Asset-First-Ansatz finden großen Anklang bei Datenpraktikern, und wir sehen, wie sich dies auswirkt
in unseren wichtigsten Wachstumskennzahlen“, sagte Schrock.
Das Unternehmen plant, den Großteil der neuen Mittel für den Ausbau seiner Go-to-Market-Organisation zu verwenden.
„Unser Forschungs- und Entwicklungsteam hat Dagster vor über einem Jahr nach einer Evaluierung der Lösungen in diesem Bereich für die Datenorchestrierung eingeführt. Wir waren beeindruckt davon, wie Dagster die Produktivität unseres Engineering-Teams und die Fähigkeit zur effizienten Bereitstellung von Datenpipelines in Produktionsqualität beschleunigt hat.“ sagte Emily Walsh, Hauptinvestorin bei Georgian.