Profile Neural Networks for Long Sequence Time-Series Forecasting

Studiengänge: Informatik, Informationstechnik, Mechatronik, Maschinenbau

Hintergrund:

Die Zeitreihen Vorhersagen ist eine wichtige Aufgabe in vielen Domänen, z.B. Energie- und Smart-Grid-Management und Intelligentes Verkehrssystem.  Diese Art von Daten in diesem Anwendungsgebiet zeigt eine starke Zyklizität. Obwohl neuronale Netze hervorragende Ergebnisse bei vielen Aufgaben gezeigt hat, haben sie jedoch oft Schwierigkeiten, Periodizität (Oder Frequenz Information) in Zeitreihen effizient zu lernen.  Darüber hinaus haben neuronale Netze auch Problemen beim Erlernen der long-term dependency.  Damit neuronale Netz Modelle zeigen nicht gute Leistung bei Langzeitvorhersagen Aufgaben.  In einigen Szenarien sind sie selten besser als statistische Prognoseansätze.

Die größte Herausforderung bei solchen Problemen besteht darin, die Vorhersagefähigkeit des Modells zu verbessern.  In letzter Zeit, haben self-attention-basierte Modelle eine bessere Leistung als RNN-basierte Modelle gezeigt. Darüber hinaus haben einige Experimente gezeigt, dass Deep-Learning-Modelle auch die VorhersagenKapizitaet verbessern können, indem sie statistische Informationen einbeziehen.

Ihre Aufgabe

• Recherche zum Stand der Technik und Wissenschaft (Modelle für die Zeitreihen Vorhersagen)
• Implementierung einer auf  Self-Attention basierenden neuronalen Netze
• Statistische Information in die Netze Integrieren
• Evaluierung des Algorithmus auf verschiedenen Datensätzen
• Wissenschaftliche Aufbereitung und Dokumentation

Wir bieten

• Intensive Betreuung
• GPU-Server
• Eine angenehme Arbeitsatmosphäre und konstruktive Zusammenarbeit

Wir erwarten

• Selbstständiges Denken und Arbeiten
• Kenntnisse in der Datenanalyse
• Kenntnisse in Python (Tensorflow/Keras, Pytorch)
• Kenntnisse neuronaler Netze

Neugierig? Kontaktieren Sie: Yexu Zhou  zhou@teco.edu 

Referenz:

[1]  Forecasting energy time series with profile neural networks  https://dl.acm.org/doi/pdf/10.1145/3396851.3397683

[2] Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting  https://arxiv.org/abs/2012.07436

Dataset:

• M4 forecasting competition
• KIT smart grid dataset
• Traffic dataset