QualiMaster - Eine konfigurierbare Echtzeit-Datenverarbeitungsinfrastruktur zur autonomen Qualitätsanpassung

Die jüngste globale Finanzkrise hat gezeigt, dass selbst im heutigen Technologiezeitalter, in dem große Teile des privaten wie auch des Arbeitslebens durch Informationstechnologie (IT) unterstützt und vereinfacht werden, eine frühzeitige Erkennung von marktübergreifenden Risikosituation schwierig ist. Besonders in Gebieten wie dem Finanzsektor, in dem an der Börse täglich enorme Datenmengen unmittelbar verarbeiten werden, stößt die IT bei derartigen Analysen derzeit noch an ihre Grenzen. Beispielsweise werden täglich in Europa und Amerika bis zu 250 Gigabyte an Daten (in etwa 54 DVDs) mit aktuellen Börsenhandelsdaten und Devisenkursen erzeugt. Länder- und marktübergreifende Risikoanalysen wie sie für ein frühzeitiges Eingreifen durch Zentralbanken notwendig sind, erfordern die Echtzeitanalyse der Daten sowie die Fähigkeit auf einzelne Phänomene zu fokussieren, d.h., in Risikosituationen mehr und detailliertere Daten zu verarbeiten. Dabei spielen auch Daten aus sozialen Netzwerken eine immer größere Rolle: so begann der Untergang von Lehman-Brothers mit dem Gerücht, dass diese Bank ihr tägliches Kapital nicht beschaffen könne.

Aktuell werden die zugehörigen IT-Systeme allerdings auf den Maximalfall ausgelegt, in dem sowohl die maximale Menge an Daten fließt als auch gleichzeitig die maximale Verarbeitungsleistung benötigt wird. Allerdings ist dies weder effektiv noch kostengünstig, da so Kapazitäten zu Zeiten geringerer Datenströme beispielsweise für zusätzliche Detailanalysen ungenutzt bleiben. Die Vision ist die automatische und dynamische Anpassung solcher Systeme an die jeweilige Situation, so dass bestehende Kapazitäten (auch durch weitere Analysen) optimal ausgenutzt werden.

Die Arbeitsgruppe „Software Systems Engineering“ um Prof. Dr. Klaus Schmid arbeitet an Methoden und Techniken, wie Software effizient angepasst und diese Anpassung von der Software eigenständig durchgeführt werden kann. Mit dieser und anderen Arbeiten hat sich die Gruppe bundesweit einen Namen gemacht und ist daher (neben dem L3S Research Center Hannover, dem Telecommunication Systems Institute der Technischen Universität Kreta und den Unternehmen Maxeler Technologies Ltd in London und Spring Techno in Bremen) Partner in dem dreijährigen Forschungsprojekt „QualiMaster“, das durch die EU mit ca. 2,9 Millionen Euro gefördert wird. In diesem EU-Projekt konzentrieren sich die Forscher der Arbeitsgruppe insbesondere auf die automatische Konfiguration und Anpassung von Verarbeitungsmechanismen für große Datenmengen im Hinblick auf unterschiedliche Qualitätsmerkmale.

Bei fast 100 Millionen Nachrichten pro Sekunde an der Börse (Europa und Amerika) ist besonders der Faktor Zeit ein wichtiges Qualitätsmerkmal. So darf die Verarbeitung und Analyse dieser Nachrichten nicht den Eingang von Ergebnissen unter vereinbarten Qualitätskriterien beim jeweiligen Empfänger verzögern, denn Zeit ist Geld. Die Herausforderung, die relevanten Qualitätsmerkmale zu berücksichtigen und auf Basis deren Gewichtung eine automatische Anpassung der Verarbeitungsmechanismen unter Berücksichtigung der aktuell zu verarbeitenden Datenmenge durchzuführen, nimmt die Arbeitsgruppe SSE in dem Projekt „QualiMaster“ an.

Damit unterstützen die Forscher die Entwicklung eines konfigurierbaren Echtzeit-Datenverarbeitungssystems zur autonomen Qualitätsanpassung. Langfristig sollen mit einem solchen System Vorhersagen über Entwicklungen im Finanzmarkt (im Projekt die Analyse und Voraussage systemischer Risiken), aber auch in anderen Gebieten mit hohem Datenaufkommen, wie zum Beispiel im Bereich der Makroökonomischen Analysen, der Wetteranalysen, der Analyse sozialer Netzwerke oder großer wissenschaftlicher Experimente, effektiv und effizient möglich werden.

Weitere Informationen:

 

Laufzeit: 3 Jahre

Kontakt: Dr. Holger Eichelberger, eichelberger(at)sse.uni-hildesheim.de

Das QualiMaster-Projekt wird finanziert durch Grant 619525 der Europäischen Kommission, Bereich Scalable Data Analytics im 7. Rahmenprogramm. Die EU fördert das Projekt mit ca. 2,9 Mio. Euro.

Deliverables

NummerName
D1.1Initial Use Cases and Requirements
D1.2Full Use Cases and Requirements
D2.1Approach for Scalable, Quality-aware Data Processing
D2.2Scalable, Quality-aware Data Processing Algorithms V1
D2.3Scalable, Quality-aware Data Processing Algorithms V2
D2.4Final report on Scalable, Quality-aware Data Processing Methods
D3.1Translation of Data Processing Algorithms to Hardware
D3.2Hardware-based Data Processing Algorithms V1
D3.3Hardware-based Data Processing Algorithms V2
D3.4Optimized Translation of Data Processing Algorithms to Hardware
D4.1Quality-aware Processing Pipeline Modelling
D4.2Quality-aware Processing Pipeline Adaptation V1
D4.3Quality-aware Processing Pipeline Adaptation V2
D4.4Quality-aware Processing Pipeline Modelling and Adaptation
D5.1QualiMaster Infrastructure Set-up
D5.2Basic QualiMaster Infrastructure
D5.3QualiMaster Infrastructure V1
D5.4QualiMaster Infrastructure V2
D6.1QualiMaster Applications V1 (internal)
D6.2Intermediary Evaluation Report
D6.3QualiMaster Applications V2 (internal)
D6.4Final Evaluation Report
D7.1Initial Project Fact Sheet
D7.2Project Presentation and Project Web Site
D7.3Dissemination Plan

 The research leading to these results has received funding from the European Union Seventh Framework Programme [FP7/2007-2013] under grant agreement n° 619525.

Publikationen