QualiMaster - Eine konfigurierbare Echtzeit-Datenverarbeitungsinfrastruktur zur autonomen Qualitätsanpassung

Die jüngste globale Finanzkrise hat gezeigt, dass selbst im heutigen Technologiezeitalter, in dem große Teile des privaten wie auch des Arbeitslebens durch Informationstechnologie (IT) unterstützt und vereinfacht werden, eine frühzeitige Erkennung von marktübergreifenden Risikosituation schwierig ist. Besonders in Gebieten wie dem Finanzsektor, in dem an der Börse täglich enorme Datenmengen unmittelbar verarbeiten werden, stößt die IT bei derartigen Analysen derzeit noch an ihre Grenzen. Beispielsweise werden täglich in Europa und Amerika bis zu 250 Gigabyte an Daten (in etwa 54 DVDs) mit aktuellen Börsenhandelsdaten und Devisenkursen erzeugt. Länder- und marktübergreifende Risikoanalysen wie sie für ein frühzeitiges Eingreifen durch Zentralbanken notwendig sind, erfordern die Echtzeitanalyse der Daten sowie die Fähigkeit auf einzelne Phänomene zu fokussieren, d.h., in Risikosituationen mehr und detailliertere Daten zu verarbeiten. Dabei spielen auch Daten aus sozialen Netzwerken eine immer größere Rolle: so begann der Untergang von Lehman-Brothers mit dem Gerücht, dass diese Bank ihr tägliches Kapital nicht beschaffen könne.

Aktuell werden die zugehörigen IT-Systeme allerdings auf den Maximalfall ausgelegt, in dem sowohl die maximale Menge an Daten fließt als auch gleichzeitig die maximale Verarbeitungsleistung benötigt wird. Allerdings ist dies weder effektiv noch kostengünstig, da so Kapazitäten zu Zeiten geringerer Datenströme beispielsweise für zusätzliche Detailanalysen ungenutzt bleiben. Die Vision ist die automatische und dynamische Anpassung solcher Systeme an die jeweilige Situation, so dass bestehende Kapazitäten (auch durch weitere Analysen) optimal ausgenutzt werden.

Die Arbeitsgruppe „Software Systems Engineering“ um Prof. Dr. Klaus Schmid arbeitet an Methoden und Techniken, wie Software effizient angepasst und diese Anpassung von der Software eigenständig durchgeführt werden kann. Mit dieser und anderen Arbeiten hat sich die Gruppe bundesweit einen Namen gemacht und ist daher (neben dem L3S Research Center Hannover, dem Telecommunication Systems Institute der Technischen Universität Kreta und den Unternehmen Maxeler Technologies Ltd in London und Spring Techno in Bremen) Partner in dem dreijährigen Forschungsprojekt „QualiMaster“, das durch die EU mit ca. 2,9 Millionen Euro gefördert wird. In diesem EU-Projekt konzentrieren sich die Forscher der Arbeitsgruppe insbesondere auf die automatische Konfiguration und Anpassung von Verarbeitungsmechanismen für große Datenmengen im Hinblick auf unterschiedliche Qualitätsmerkmale.

Bei fast 100 Millionen Nachrichten pro Sekunde an der Börse (Europa und Amerika) ist besonders der Faktor Zeit ein wichtiges Qualitätsmerkmal. So darf die Verarbeitung und Analyse dieser Nachrichten nicht den Eingang von Ergebnissen unter vereinbarten Qualitätskriterien beim jeweiligen Empfänger verzögern, denn Zeit ist Geld. Die Herausforderung, die relevanten Qualitätsmerkmale zu berücksichtigen und auf Basis deren Gewichtung eine automatische Anpassung der Verarbeitungsmechanismen unter Berücksichtigung der aktuell zu verarbeitenden Datenmenge durchzuführen, nimmt die Arbeitsgruppe SSE in dem Projekt „QualiMaster“ an.

Damit unterstützen die Forscher die Entwicklung eines konfigurierbaren Echtzeit-Datenverarbeitungssystems zur autonomen Qualitätsanpassung. Langfristig sollen mit einem solchen System Vorhersagen über Entwicklungen im Finanzmarkt (im Projekt die Analyse und Voraussage systemischer Risiken), aber auch in anderen Gebieten mit hohem Datenaufkommen, wie zum Beispiel im Bereich der Makroökonomischen Analysen, der Wetteranalysen, der Analyse sozialer Netzwerke oder großer wissenschaftlicher Experimente, effektiv und effizient möglich werden.

Weitere Informationen:

 

Laufzeit: 3 Jahre

Kontakt: Dr. Holger Eichelberger, eichelberger(at)sse.uni-hildesheim.de

Das QualiMaster-Projekt wird finanziert durch Grant 619525 der Europäischen Kommission, Bereich Scalable Data Analytics im 7. Rahmenprogramm. Die EU fördert das Projekt mit ca. 2,9 Mio. Euro.

Deliverables

NummerName
D1.1Initial Use Cases and Requirements
D1.2Full Use Cases and Requirements
D2.1Approach for Scalable, Quality-aware Data Processing
D2.2Scalable, Quality-aware Data Processing Algorithms V1
D2.3Scalable, Quality-aware Data Processing Algorithms V2
D2.4Final report on Scalable, Quality-aware Data Processing Methods
D3.1Translation of Data Processing Algorithms to Hardware
D3.2Hardware-based Data Processing Algorithms V1
D3.3Hardware-based Data Processing Algorithms V2
D3.4Optimized Translation of Data Processing Algorithms to Hardware
D4.1Quality-aware Processing Pipeline Modelling
D4.2Quality-aware Processing Pipeline Adaptation V1
D4.3Quality-aware Processing Pipeline Adaptation V2
D4.4Quality-aware Processing Pipeline Modelling and Adaptation
D5.1QualiMaster Infrastructure Set-up
D5.2Basic QualiMaster Infrastructure
D5.3QualiMaster Infrastructure V1
D5.4QualiMaster Infrastructure V2
D6.1QualiMaster Applications V1 (internal)
D6.2Intermediary Evaluation Report
D6.3QualiMaster Applications V2 (internal)
D6.4Final Evaluation Report
D7.1Initial Project Fact Sheet
D7.2Project Presentation and Project Web Site
D7.3Dissemination Plan

 The research leading to these results has received funding from the European Union Seventh Framework Programme [FP7/2007-2013] under grant agreement n° 619525.

Publikationen

Lfd. Nr. Publikation
2017
14. Holger Eichelberger, Cui Qin und Klaus Schmid (2017): Experiences with the Model-based Generation of Big Data Applications In: Lecture Notes in Informatics (LNI) - Datenbanksysteme für Business, Technologie und Web (BTW '17) - Workshopband S. 49-56.
13. Holger Eichelberger, Cui Qin und Klaus Schmid (2017): From Resource Monitoring to Requirements-based Adaptation: An Integrated Approach In: Proceedings of the 8th ACM/SPEC on International Conference on Performance Engineering Companion (ICPE '17) S. 91-96. ACM.
12. Klaus Schmid und Holger Eichelberger (2017): Variability Modeling with EASy-Producer In: Proceedings of the 21st International Systems and Software Product Line Conference Bd. A. S. 251-251. ACM.
2016
11. Cui Qin und Holger Eichelberger (2016): Impact-minimizing Runtime Switching of Distributed Stream Processing Algorithms In: Proceedings of the Workshops of the EDBT/ICDT 2016 Joint Conference CEUR-WS.org.
10. Holger Eichelberger, Cui Qin, Roman Sizonenko und Klaus Schmid (2016): Using IVML to Model the Topology of Big Data Processing Pipelines In: Proceedings of the 20th International Systems and Software Product Line Conference S. 204 - 208. ACM.
9. Holger Eichelberger (2016): A Matter of the Mix: Integration of Compile and Runtime Variability In: 2016 IEEE 1st International Workshops on Foundations and Applications of Self-* Systems, Proceedings of the 9th International Workshop on Dynamic Software Product Lines (DSPL '16) S. 12-15. IEEE.
8. Robert Heinrich, Holger Eichelberger und Klaus Schmid (2016): Performance Modeling in the Age of Big Data - Some Reflections on Current Limitations In: Proceedings of the 3rd International Workshop on Interplay of Model-Driven and Component-Based Software Engineering (ModComp '16) S. 37-38.
2015
7. Holger Eichelberger und Klaus Schmid (2015): IVML: A DSL for Configuration in Variability-rich Software Ecosystems In: Proceedings of the 19th International Conference on Software Product Line S. 365-369. ACM.
6. Klaus Schmid und Holger Eichelberger (2015): EASy-Producer: From Product Lines to Variability-rich Software Ecosystems In: Proceedings of the 19th International Conference on Software Product Line S. 390-391. ACM.
5. Holger Eichelberger, Cui Qin, Klaus Schmid und Claudia Niederée (2015): Adaptive Application Performance Management for Big Data Stream Processing In: Softwaretechnik-Trends, 35 (3): 35-37.
4. Holger Eichelberger und Klaus Schmid (2015): Mapping the Design-Space of Textual Variability Modeling Languages: A Refined Analysis In: International Journal of Software Tools for Technology Transfer, 17 (5): 559-584.
2014
3. Holger Eichelberger und Klaus Schmid (2014): Flexible Resource Monitoring of Java Programs In: Journal of Systems and Software, 93: 163-186. Elsevier.
2. Holger Eichelberger, Sascha El-Sharkawy, Christian Kröher und Klaus Schmid (2014): EASy-Producer: Product Line Development for Variant-rich Ecosystems In: Proceedings of the 18th International Software Product Line Conference: Companion Volume for Workshops, Demonstrations and Tools Bd. 2. S. 133-137. ACM.
1. Holger Eichelberger und Klaus Schmid (2014): Resource-optimizing Adaptation for Big Data Applications In: Proceedings of the 18th International Software Product Line Conference: Companion Volume for Workshops, Demonstrations and Tools Bd. 2. S. 10-11. ACM.