Dynamische Ressourcenallokation für ETL-Prozessketten durch Reinforcement Learning
Motivation
Ein wichtiger Baustein in großen Datenprozessen ist die sogenannte „ETL“. Das steht für „Extract, Transform, Load“, also das riesige Datenmengen heruntergeladen, weiterverarbeitet und abschließend an anderer Stelle integriert werden. Ein Beispiel dafür sind Datenumzüge von Behörden. Immer öfter ist dieses Vorgehen so komplex, dass sogar spezielle Software eingesetzt werden muss. Diese teilt im Prinzip den Vorgang in einzelne Schritte auf, die dann parallel abgearbeitet werden. Das bestimmt auch die Aufteilung der dafür benötigten Rechenressourcen – auch „Allokation“ genannt. Bisher wird diese manuell vorgenommen, was arbeitsaufwändig ist und keine optimale Aufteilung garantiert
Ziele und Vorgehen
Das Verbundvorhaben „ETL4Balance“ hat zum Ziel, eine neuartige, automatisierte Strategie für Ressourcenallokation mit Hilfe von Künstlicher Intelligenz (KI) zu entwickeln. Die Projektbeteiligten möchten damit eine verbesserte Bedienbarkeit und Verarbeitungsgeschwindigkeit in großen Datenvorgängen erreichen. Konkret sollen dazu Ansätze des sogenannten „Reinforcement Learning“ und „Transfer Learning“ genutzt werden. Im Projekt wird u. a. eine realistische Lernumgebung auf Basis einer großen Anzahl an künstlich erzeugten Szenarien erstellt. Durch spezielle „Sim2Real“-Methoden wird dann von diesen „Simulationen auf die „Realität zurückgeschlossen. Ein weiteres Ziel ist es das Gelernte idealerweise auch auf neue Prozesse und Domänen übertragen zu können.
Innovationen und Perspektiven
Große und komplexe Datenverarbeitung und die dazugehörige ETL sind in jeder Branche vertreten – von öffentlichen Verwaltungen und Einrichtungen über den Einzelhandel bis hin zu Geoinformationsdiensten. Die Innovationshöhe von ETL4Balance liegt darin, dass mithilfe von KI alle involvierten Rechenressourcen erkannt und optimal aufgeteilt werden. Damit können die meist stark begrenzten Rechenkapazitäten optimal auf die Nutzerinnen und Nutzer aufgeteilt werden. Darüber hinaus sinkt durch die höhere Effizienz in der Datenverarbeitung auch automatisch der Energieverbrauch.
Technische Universität DarmstadtFachbereich InformatikInstitut für Intelligente Autonome Systeme
Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.