Treffen Kestra, ein Startup, das an einem Open-Source-Projekt arbeitet, das sich auf die Datenorchestrierung über mehrere Dienste, Datenbanken, Dateien, Repositorys und Warehouses hinweg konzentriert. Das Open-Source-Projekt hat Anklang gefunden Tausende von Sternen auf GitHub, was beweist, dass hinter einer neuen Datenorchestrierungsplattform ein gewisses Interesse und Potenzial steckt.
Aber zunächst einmal: Warum sollten Sie in Ihrem großen Unternehmen ein Produkt zur Datenorchestrierung benötigen? Irgendwann beginnen große Unternehmen damit, ihre Daten auf mehrere Speicherorte zu verteilen. Einige Kundendaten können in einem alten ERP-System gespeichert werden, neue Bestellungen werden möglicherweise in einer Datenbank in Ihrer Cloud-Infrastruktur angezeigt usw.
Mit einem Daten-Orchestrator können Sie Daten extrahieren, transformieren und laden (oder Daten extrahieren, laden und transformieren), sodass alle Ihre Daten vereinheitlicht und an einem einzigen Ort gespeichert werden, beispielsweise einem Data Warehouse (Snowflake, Google BigQuery usw.). . Viele Dateningenieure verwenden Tools wie Airbyte als Datenintegrationsplattform und als Orchestrator zum Koordinieren und Erstellen von Triggern.
Der beste Weg, Kestra zu beschreiben, besteht darin, zu definieren, warum es sich von dem unterscheidet, was es da draußen gibt. Wenn Sie damit vertraut sind Apache AirflowKestra kann mit einigen wesentlichen Unterschieden als Alternative zu Airflow verwendet werden.
Anstatt Python-Code zu verwenden, basiert Kestra auf YAML-Konfigurationsdateien – und wenn Sie schon einmal mit Docker-Images gespielt haben, sind Sie möglicherweise bereits mit YAML vertraut.
Die API von Ketra wird als erstklassiger Bürger behandelt, was bedeutet, dass sie sich gut in andere Tools und Systeme integrieren lässt. Mit anderen Worten: Kestra wurde dank der YAML-Nutzung zur Orchestrierung und der Möglichkeit, Arbeitsabläufe zu ändern und Aufgaben mithilfe der Kestra-API zu erstellen, sprachunabhängig konzipiert.
Und der Grund, warum Kestra das mitbringt Infrastructure-as-Code-Modell Der Grund für die Datenorchestrierung liegt darin, dass das Startup der Meinung ist, dass die Datenverwaltung von allen Ingenieuren und Geschäftsanwendern und nicht von einem bestimmten Team von Dateningenieuren übernommen werden sollte.
Zusätzlich zu diesem eigensinnigen Ansatz hat Kestra eine solide Seite Bibliothek der Integrationen mit offiziellen Plugins für große Cloud-Anbieter (AWS, Azure und Google Cloud), Data Warehouses (Snowflake und BigQuery), dbt für Datentransformation, Airbyte für Datenintegration und mehr.
Kestra verfügt außerdem über eine Benutzeroberfläche, die es einfach macht, geplante und ereignisgesteuerte Arbeitsabläufe zu erstellen („Wenn das passiert, mach das“). Mit dieser Benutzeroberfläche können sich Geschäftsanwender auch darauf verlassen, dass Kestra SQL-Abfragen erstellt und interne Tools für die interne Berichterstellung erstellt.
Bildnachweis: Kestra
Kestra stammt ursprünglich aus Frankreich und wurde von Emmanuel Darras und Ludovic Dehon mitbegründet. In einer von ISAI und Axeleo Capital gemeinsam angeführten Seed-Runde hat das Unternehmen 3 Millionen US-Dollar eingesammelt. An der Runde nahmen auch mehrere Angel-Investoren teil, darunter Olivier Pomel von Datadog, Stan Christians von Collibra, Pierre Burgy von Strapi und Olivier Bonnet von BlaBlaCar.
Neben dem Open-Source-Orchestrator verfügt Kestra auch über einen Enterprise Edition und mehrere große Kunden, die sich bei der Abwicklung von Millionen Orchestrierungsveranstaltungen pro Monat auf Kestra verlassen, darunter Leroy Merlin, Huawei, Acxiom, Tencent, Gorgias, Sophia Genetics und Decathlon.
Das Endziel von Kestra besteht darin, ein Orchestrierungstool zu entwickeln, das für alle Orchestrierungsanforderungen verwendet werden kann – nicht nur für die Datenorchestrierung. Viele Unternehmen bilden am Ende spezielle Teams, die auf Datenorchestrierung, Microservice-Orchestrierung, Infrastruktur und mehr spezialisiert sind. Kestra möchte eine einzige Plattform aufbauen, die von allen, die an diesen Aufgaben arbeiten, vielseitig genutzt werden kann.