Backtesting

Unter dem Backtesting versteht man eine Strategie, um die Güte eines Prognosemodells zu evaluieren: Hierbei wird betrachtet, welche Prognosen das Modell für einen vergangenen Zeitraum (z. B. für das letzte Jahr) geliefert hätte. Diese werden mit den bereits bekannten, tatsächlich eingetretenen Werten für diesen Zeitraum verglichen.

Im Wesentlichen folgt man beim Backtesting folgendem Schema:

1. Man unterteilt die gegebene Datenhistorie in einen Trainingszeitraum und einen Testzeitraum.
2. Die Beobachtungen des Trainingszeitraums werden für die Optimierung der Modellparameter (Training des Prognose-Modells) verwendet.
3. Das trainierte Modell wird verwendet, um Prognosen für den Testzeitraum zu erstellen.
4. Die erstellten Prognosen werden mittels geeigneter Gütemaße wie z. B. MAPE, MAE, MSE bewertet.

Um Prognosen für den Testzeitraum zu erstellen, stehen unterschiedliche Strategien zur Verfügung. Die relevanteste ist die rollierende 1-Schritt-Prognose, die mit folgendem Beispiel illustriert werden soll:

1. Die vorhandene Datenhistorie Jan 2010 – Dez 2016 wird in einen Trainingszeitraum (Jan 2010 – Dez 2015) und einen Testzeitraum (Jan 2016 – Dez 2016) unterteilt.
2. Das Modell wird auf dem Trainingszeitraum, basierend auf den Daten bis Dez 2015, trainiert und es wird eine 1-Schritt-Prognose für Jan 2016 erstellt.
3. Nun wird zum Trainingszeitraum ein weiterer Datenpunkt, nämlich der tatsächliche Wert der Zeitreihe im Jan 2016, hinzugefügt. Das Modell wird erneut trainiert, basierend auf dem Datenstand bis Ende Jan 2016. Damit wird eine 1-Schritt-Prognose für Feb 2016 erstellt.
4. Man fährt so lange wie oben beschrieben fort, bis man für jeden Monat in 2016 eine 1-Schritt-Prognose erzeugt hat.
5. Die auf diese Weise erzeugten Prognosen für 2016 nennt man rollierende 1-Schritt-Prognosen. Ein Vergleich dieser Prognosen mit den tatsächlich eingetretenen Werten in 2016 liefert eine Bewertung des Modells hinsichtlich der 1-Schritt-Prognosegüte.

Mit dem obigen Verfahren können auch höhere Prognose-Schritte bewertet werden.