Thema

Streamable Multivariate Time Series Anomaly Detection for Cloud Service Infrastructures

Motivation und Ziele 

Die automatische Erkennung von Anomalien ist ein wichtiges Werkzeug zur Überwachung von komplexen Cloudserviceinfrastrukturen für die B2B-Kommunikation. Multivariate Anomalien ergeben sich hierbei gleichzeitig aus einer Vielzahl von Metriken und dem Kontext der einzelnen Services. Eine sich ändernde Systemlast kann zusammenhängen mit der Anzahl erfolgreicher Prozesse, dem Wegfall von Verarbeitungsfehlern und sinkenden Bestellungen eines Discounters.
Im Betrieb treten bisher unbekannte oder seltene Fehler auf, es lassen sich vergleichsweise wenige Anomalien durch Experten labeln und Daten für das Training von ML-Modellen sind nur unzureichend von Anomalien bereinigt.
Ziel der Arbeit ist die Entwicklung eines streamorientierten, multivariaten Anomalieerkenners und einem Alert-Kommunikationssystem, sowie die Evaluierung des Systems am Beispiel einer Cloudserviceinfrastruktur mit den bereitgestellten Daten.

Aufgaben

• Untersuchung und Bewertung verschiedener Ansätze zur Erkennung von Anomalien mit dem Schwerpunkt auf Deep Neural Networks
• Vorverarbeitung, Filterung, Bereinigung, sowie Anreicherung von Monitoring-, Messagetrackingdaten und den Cloudstrukturdaten für den Anomalieerkenner. Das Messagetracking erfasst hierbei Metadaten bei der Verarbeitung der Dokumente mit den verschiedenen Cloudeservices. Historische Daten stehen für mehrere Jahre in einem Data Lake zur Verfügung. Aus den Metadaten sollen weitere Zeitreihen generiert werden
• Entwicklung und Implementierung des KI-Anomalieerkenners sowie eines Frameworks für das regelmäßige Training der ML-Modelle und die streamorientierte Erkennung der Anomalien
• Entwicklung und Implementierung eines dynamisches Alertsystems, das für verschiedene Nutzer wie Systemoperatoren oder Kunden geeignet ist, sowie die Analyse und Bewertung der Anomalien ermöglicht
• Entwicklung von Kriterien zur Evaluierung des Systems

Dienstsitz: Karlsruhe und/oder Bretten.

Kontakt Recruiting:

Daniel Iwtschenko

+49 7252 96-2224

LinkedIn - XING