ETL4Balance

Dynamische Ressourcenallokation für ETL-Prozessketten durch Reinforcement Learning

Motivation

Ein wichtiger Baustein in großen Datenprozessen ist die sogenannte „ETL“. Das steht für „Extract, Transform, Load“, also das riesige Datenmengen heruntergeladen, weiterverarbeitet und abschließend an anderer Stelle integriert werden. Ein Beispiel dafür sind Datenumzüge von Behörden. Immer öfter ist dieses Vorgehen so komplex, dass sogar spezielle Software eingesetzt werden muss. Diese teilt im Prinzip den Vorgang in einzelne Schritte auf, die dann parallel abgearbeitet werden. Das bestimmt auch die Aufteilung der dafür benötigten Rechenressourcen – auch „Allokation“ genannt. Bisher wird diese manuell vorgenommen, was arbeitsaufwändig ist und keine optimale Aufteilung garantiert

Ziele und Vorgehen

Das Verbundvorhaben „ETL4Balance“ hat zum Ziel, eine neuartige, automatisierte Strategie für Ressourcenallokation mit Hilfe von Künstlicher Intelligenz (KI) zu entwickeln. Die Projektbeteiligten möchten damit eine verbesserte Bedienbarkeit und Verarbeitungsgeschwindigkeit in großen Datenvorgängen erreichen. Konkret sollen dazu Ansätze des sogenannten „Reinforcement Learning“ und „Transfer Learning“ genutzt werden. Im Projekt wird u. a. eine realistische Lernumgebung auf Basis einer großen Anzahl an künstlich erzeugten Szenarien erstellt. Durch spezielle „Sim2Real“-Methoden wird dann von diesen „Simulationen auf die „Realität zurückgeschlossen. Ein weiteres Ziel ist es das Gelernte idealerweise auch auf neue Prozesse und Domänen übertragen zu können.

Innovationen und Perspektiven

Große und komplexe Datenverarbeitung und die dazugehörige ETL sind in jeder Branche vertreten – von öffentlichen Verwaltungen und Einrichtungen über den Einzelhandel bis hin zu Geoinformationsdiensten. Die Innovationshöhe von ETL4Balance liegt darin, dass mithilfe von KI alle involvierten Rechenressourcen erkannt und optimal aufgeteilt werden. Damit können die meist stark begrenzten Rechenkapazitäten optimal auf die Nutzerinnen und Nutzer aufgeteilt werden. Darüber hinaus sinkt durch die höhere Effizienz in der Datenverarbeitung auch automatisch der Energieverbrauch.

Projektinformation

Projektleitung

Deepshore GmbH
Van-der-Smissen-Straße 9
22767 Hamburg

Volumen

0,61 Mio. €

Laufzeit

10/2023 – 09/2026

Projektpartnerinnen und -partner

Technische Universität DarmstadtFachbereich InformatikInstitut für Intelligente Autonome Systeme