Die naive Prognose verständlich erklärt
Bevor man ein aufwendiges Prognoseverfahren einsetzt, sollte man wissen, wie weit man mit einfachen Verfahren kommt, die nur aus der Vergangenheit ablesen, etwa dem Wert von heute oder dem des gleichen Wochentags der Vorwoche. Solche „naiven“ Verfahren sind der Maßstab, an dem sich jedes aufwendigere Verfahren messen lassen muss. Diese Seite zeigt an den Tagesaufträgen eines Depots, welcher einfache Maßstab schwer zu schlagen ist und wie man Prognosen fair vergleicht. Sie erklärt das zuerst ohne Formeln und danach für Fachleute mit Modell, Formeln, Messwerten und Grenzen. Sie ist zugleich der Einstieg in das Thema Prognosen aus Zahlenreihen über die Zeit, etwa Tagesaufträgen, auf dieser Website.
Zuletzt aktualisiert:
Ein Wort unbekannt? Das Begriffsverzeichnis erklärt es in wenigen Sätzen.
Der Maßstab: einfach fortschreiben, was zuletzt galt
Stellen Sie sich den Disponenten eines Paketdepots vor. Jeden Tag gehen Aufträge ein, und er muss Personal und Fahrzeuge für die nächsten Tage einplanen. Dafür braucht er eine Prognose, also eine begründete Schätzung, wie viele Aufträge kommen. Ein Anbieter bietet ihm ein aufwendiges Prognoseverfahren an. Woher weiß er, ob es sein Geld wert ist?
Ein guter Test ist der Vergleich mit einer naiven Prognose: einer Schätzung, die nichts berechnet, sondern nur fortschreibt, was zuletzt galt. Wer diesen Maßstab nicht schlägt, hat kein besseres Verfahren, sondern nur ein teureres. „Naiv“ ist hier also kein Vorwurf, sondern heißt: einfach, aber ein ehrlicher Vergleich.
Dabei gibt es nicht ein naives Verfahren, sondern eine ganze Familie, von schwach bis stark. Man kann den Wert von heute übernehmen oder den des gleichen Wochentags der Vorwoche. Man kann den Durchschnitt dieses Wochentags über ein paar Wochen bilden oder den Wert des gleichen Wochentags vor einem Jahr nehmen. Und man kann den Durchschnitt der ganzen Vergangenheit nehmen oder den letzten Wert plus die mittlere Änderung von Tag zu Tag. Die zugehörige Demo vergleicht diese sechs Verfahren an den Tagesaufträgen eines Depots über drei Jahre. Die Aufträge sind in der Demo erzeugt, nicht gemessen.
Der letzte Tag ist ein schwacher Maßstab
Das einfachste Verfahren sagt: Für die nächsten Tage kommen so viele Aufträge wie heute. In einem Depot mit festem Wochenmuster geht das schlecht. Ein Wochenmuster heißt: Manche Wochentage sind regelmäßig stark, andere regelmäßig schwach. In der Demo ist freitags am meisten los und sonntags am wenigsten. Wer an einem Sonntag „wie heute“ sagt, plant die kommenden Tage zu klein. Wer an einem Freitag so rechnet, plant sie zu groß.
Besser ist es, den gleichen Wochentag der Vorwoche zu nehmen: Für den nächsten Dienstag gilt der Wert vom letzten Dienstag. Als Fehler gilt hier die mittlere Abweichung der Prognose von den tatsächlichen Aufträgen eines Tages. Gemittelt über die zwölf erzeugten Beispielreihen der Demo ist dieser Fehler beim Verfahren „wie heute“ mehr als doppelt so hoch wie beim Verfahren „wie in der Vorwoche“. Erst diese zweite Variante ist ein Maßstab, den ein aufwendiges Verfahren wirklich schlagen sollte.
Der Durchschnitt über mehrere Wochen ist der stärkste einfache Maßstab
Auch der Wert vom letzten Dienstag ist nur ein einzelner Messwert. Jeder Tag hat etwas Rauschen: Schwankungen von Tag zu Tag ohne erkennbaren Grund, etwa weil an einem Dienstag zufällig besonders viele Kunden bestellen. Nimmt man stattdessen den Durchschnitt der letzten paar Dienstage, gleichen sich solche Ausschläge zum Teil aus. In allen zwölf erzeugten Beispielreihen der Demo, die sich nur im Zufall unterscheiden, war dieser Durchschnitt das beste der sechs Verfahren. Je stärker die Tage zufällig schwanken, desto mehr lohnt das Mitteln. Auf der höchsten getesteten Stufe des Rauschens schlägt in der Demo sogar der Durchschnitt der ganzen Vergangenheit die Vorwoche.
Das Mitteln hat Grenzen. Bei stetigem Wachstum, einem plötzlichen Sprung der Menge oder Feiertagen und Aktionswochen liegen alle diese einfachen Verfahren daneben. Und ein Restfehler bleibt auch beim besten einfachen Verfahren, denn der Zufall selbst lässt sich nicht wegrechnen.
Ein einzelner Testzeitraum kann täuschen
Wie vergleicht man Verfahren fair? Naheliegend ist: Man prognostiziert einen Zeitraum, etwa einen Monat, und schaut, welches Verfahren am nächsten lag. Das ist riskant. Ein Verfahren kann in diesem einen Monat Glück haben, ein anderes Pech, und im nächsten Monat sieht die Rangfolge anders aus. Schaut man in der Demo jeden Starttag einzeln an, also den Tag, ab dem die Prognose gilt, so liegt an etwa jedem dritten Starttag nicht das Verfahren vorn, das im Gesamtvergleich gewinnt. Wer nur einen Zeitraum testet, wählt dann leicht das falsche Verfahren. Besonders das Verfahren „wie heute“ hängt vom Wochentag des Starttags ab: Nach einem Sonntag sieht es schlechter aus als nach einem Mittwoch.
Die Demo startet die Prognose deshalb an jedem Tag des letzten Jahres neu und mittelt die Fehler. Fachleute nennen das Rolling-Origin, wörtlich einen wandernden Startpunkt. Außerdem misst die Demo den Fehler mit einer Kennzahl, die nicht davon abhängt, ob das Depot groß oder klein ist: Der Fehler wird durch den Fehler geteilt, den „wie in der Vorwoche“ in den Anfangsjahren gemacht hätte. Diese Kennzahl heißt MASE; ein Wert unter eins bedeutet, dass das Verfahren besser ist als „wie in der Vorwoche“.
Wie ernst ist das Modell zu nehmen?
Die Demo arbeitet mit erzeugten Aufträgen: ein Grundniveau, dazu Wochenmuster, Jahresmuster, Feiertage, Aktionen und Rauschen, die man mit Reglern einstellt. Echte Aufträge sind unordentlicher, mit Ausreißern, Lücken und wechselnden Wochenmustern. Die Aussagen gelten für diese erzeugten Reihen, nicht für ein bestimmtes echtes Depot.
Was Sie mitnehmen: Fragen Sie jeden Anbieter, ob sein Verfahren auch den Durchschnitt des gleichen Wochentags der letzten Wochen schlägt, und zwar über viele Starttage und nicht nur an einem Testzeitraum. Das gilt, solange Ihre Aufträge ein klares Wochenmuster haben. Ob das bei Ihnen so ist, sehen Sie schnell: Vergleichen Sie über mehrere Wochen, ob Freitage und Sonntage systematisch verschieden ausfallen. Ohne ein solches Muster liegen in der Demo der letzte Tag und die Vorwoche gleichauf.
Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.
Modell und Annahmen
Dieser Teil ist eigenständig lesbar. Er fasst die formale Beschreibung der Demo zusammen; die vollständige Fassung steht im Expander „📐 Mathematische Formulierung“ der Demo.
- Reihe: erzeugt, 1 095 Tage. Niveau \(L = 100\) Aufträge, Trend, Wochenmuster (Mo bis So: 1,10 / 1,05 / 1,00 / 1,05 / 1,20 / 0,55 / 0,35, auf Mittel 1 normiert), Jahresmuster, auf Wunsch ein Niveausprung, Feiertage (zehn Ruhetage je Jahr, am Folgetag ein Nachholeffekt) und drei Aktionswochen je Jahr; dazu multiplikatives, mittelwerttreues log-normales Rauschen.
- Ursprung und Auswertung: Ein Ursprung \(t\) heißt: Bekannt sind die Tage \(0..t-1\), prognostiziert werden die nächsten \(h\) Tage. Die Ursprünge liegen im letzten Jahr (ab Tag 730); Standard ist jeder Tag des Testjahres mit Horizont 14 Tage. Der Fehler wird über alle Ursprünge und Horizonte gemittelt (Rolling-Origin).
- Verfahren: Mittelwert, naiv, saisonal naiv, Wochenmittel (\(k\) Wochen, Standard 4), Vorjahr (52 Wochen zurück) und Drift; auf Wunsch sehen sie nur ein gleitendes Fenster der letzten 4 bis 26 Wochen. Die Verfahren sind deterministisch (kein Training).
- Kennzahlen: MAE, RMSE, Verzerrung (Prognose minus Ist) und MASE, der MAE geteilt durch den saisonal naiven Fehler innerhalb der ersten 730 Trainingstage. Die MASE ist unabhängig vom Niveau der Reihe; ein Wert unter 1 heißt: besser als saisonal naiv im Training.
- Orakel: dieselbe Kennzahl für die Prognose \(\hat y = \mu\), im Mittel die untere Grenze für Erwartungswert-Schätzer. Für RMSE und Verzerrung ist der Erwartungswert optimal, für die MAE (und damit die MASE) der Median \(\mu e^{-\sigma^2/2}\) der log-normalen Reihe. Dessen MASE liegt über zwölf Seeds bei Rauschen 0,14 um 0,2 % (0,733 statt 0,735) und bei 0,40 um 2 % (0,792 statt 0,808) tiefer (Orakel-Prüflauf); kein Verfahren der Demo nutzt das.
Die Formeln
Die Reihe entsteht aus dem Erwartungswert \(\mu_t\) (Niveau \(L\), Trend \(g\), Wochenmuster \(w\), Jahresmuster, Niveausprung \(s_t\), Feiertage \(f_t\), Aktionen \(p_t\)) und einem log-normalen Faktor mit \(z_t \sim \mathcal N(0,1)\); der Term \(-\sigma^2/2\) macht das Rauschen mittelwerttreu:
\[y_t = \mathrm{round}\big(\mu_t \, e^{\sigma z_t - \sigma^2/2}\big)\]
Bekannt sind \(y_0 .. y_{t-1}\), prognostiziert wird für den Horizont \(j = 1..h\). Das Verfahren „naiv“ schreibt \(y_{t-1}\) für alle \(j\) fort, der Mittelwert ist \(\bar y\), das Vorjahr denselben Wochentag 52 Wochen zurück, die Drift \(y_{t-1} + j\,\frac{y_{t-1} - y_{t-m}}{m-1}\) mit \(m\) als Länge der sichtbaren Vergangenheit. „Saisonal naiv“ wiederholt denselben Wochentag der letzten Woche:
\[y_{t-7+((j-1) \bmod 7)}\]
Das Wochenmittel mittelt denselben Wochentag über die letzten \(k\) Wochen; für \(k = 1\) ist es saisonal naiv:
\[\frac1k\sum_{i=1}^{k} y_{t-7i+((j-1) \bmod 7)}\]
Die MAE ist der mittlere absolute Fehler \(\frac1{\lvert O\rvert h}\sum_{t \in O}\sum_{j}\lvert \hat y_{t+j-1} - y_{t+j-1}\rvert\) über alle Ursprünge \(O\); RMSE und Verzerrung entstehen analog. Die MASE teilt sie durch den mittleren Fehler der saisonal naiven Prognose im Training (Hyndman/Koehler 2006), mit \(T\) als Länge der ersten Trainingsdaten:
\[\mathrm{MASE} = \mathrm{MAE} / \frac1{T-7}\sum_{u=7}^{T-1}\lvert y_u - y_{u-7}\rvert\]
Befunde
Alle Zahlen stammen aus der README der Demo (jede steht in deren Tests, tests/test_claims.py). Die Reihen und Verfahren sind deterministisch, die Zahlen daher exakt reproduzierbar. Belastbar sind die Zeilen über zwölf feste Seeds; die Preset-Zeilen sind Einzelreihen (Zufalls-Seed 3). Wo nichts anderes steht, gilt Horizont 14 und jeder Tag des Testjahres als Ursprung. Alle Werte sind MASE.
| Frage | Befund |
|---|---|
| Wie weit kommen die einfachen Verfahren? (12 Seeds, Horizont 14, 352 Ursprünge je Reihe) | Wochenmittel 0,95, saisonal naiv 1,17, Vorjahr 1,18, Mittelwert 2,28, naiv 2,73, Drift 2,74; Orakel-Untergrenze 0,74. Das Wochenmittel gewinnt in allen zwölf Reihen und liegt im Mittel 0,22 vor der letzten Woche. Standardfall (Preset, Zufalls-Seed 3): Wochenmittel 0,88, saisonal naiv 1,12, Vorjahr 1,14, Mittelwert 2,14, naiv 2,68, Drift 2,69, Orakel 0,75 (das beste Verfahren liegt 17 % darüber). |
| Wie verlässlich ist ein einzelner Testzeitraum? (alle Ursprünge des Testjahres, 12 Seeds) | Über alle Ursprünge gewinnt das Wochenmittel in allen 12 Reihen; in einem einzelnen Ursprung aber nur in 67,4 % der Fälle (saisonal naiv 16,0 %, Vorjahr 16,5 %, naiv, Mittelwert und Drift praktisch nie). In 32,6 ± 2,1 % der Ursprünge steht ein anderes Verfahren vorn. Die MASE des besten Verfahrens streut je Ursprung zwischen 0,64 und 1,34 (10. bis 90. Perzentil). |
| Wann hilft Mitteln? (Rauschen 0,04 / 0,08 / 0,14 / 0,24 / 0,40) | Vorsprung des Wochenmittels vor der letzten Woche: +0,04 ± 0,02, +0,17 ± 0,01, +0,22 ± 0,01, +0,24 ± 0,01, +0,24 ± 0,01 MASE-Punkte. Orakel-Untergrenze 0,48 / 0,64 / 0,74 / 0,78 / 0,81. Bei Rauschen 0,40 schlägt sogar der Mittelwert über die ganze Vergangenheit (1,12) die saisonal naive letzte Woche (1,16). Preset starkes Rauschen (Zufalls-Seed 3, 0,4): Mittelwert 1,05 schlägt saisonal naiv 1,14; Wochenmittel 0,86, Orakel 0,81. |
| Hängt das Ergebnis vom Wochentag des Ursprungs ab? (Abstand 7, letzter bekannter Tag Mo bis So) | Naiv: 2,39 / 2,31 / 2,21 / 2,28 / 2,74 / 3,12 / 4,09; Wochenmittel dagegen bei 0,95 (im Test im Band von ±0,02), saisonal naiv bei 1,17. Wer nur Ursprünge an einem Wochentag auswertet, macht das naive Verfahren besser oder schlechter, als es ist. Preset (Zufalls-Seed 3, 51 Ursprünge am selben Wochentag): naiv 2,21 statt 2,68, Drift 2,21 statt 2,69. |
| Was ändert ein Trend? (−20 / 0 / +10 / +25 / +40 % je Jahr) | Wochenmittel 0,53 / 0,84 / 0,95 / 1,08 / 1,19; Vorjahr 1,49 bei −20 % und 1,93 bei +40 % (verpasst das Wachstum); die Drift liegt höchstens 0,02 neben naiv. Preset „Starker Trend“: Wochenmittel 1,11, saisonal naiv 1,42, Vorjahr 1,88, naiv 3,39, Drift 3,40, Orakel 0,94. |
| Was bewirkt ein Niveausprung von +30 %, und wie wirkt das Fenster? (wachsend / 4 / 8 / 13 / 26 Wochen) | Mittelwert: 3,00 (wachsend), 2,43 (4 Wochen), 2,72 (26 Wochen); Drift dagegen schlechter mit kleinem Fenster: 3,20 (wachsend), 3,67 (4 Wochen), weil eine kurze Steigung vor allem den Wochentag misst; Wochenmittel 1,15, Vorjahr 1,96 (blind für den Sprung). Preset (Zufalls-Seed 3, Sprung an Tag 809, Fenster 8 Wochen): Mittelwert 2,49 (wachsend 3,02), Wochenmittel 1,08, saisonal naiv 1,36, Vorjahr 2,15, Drift 3,46 (wachsend 3,25). |
| Was passiert ohne Wochenmuster? (Preset, Zufalls-Seed 3) | Naiv und saisonal naiv gleichauf (je 1,13), Mittelwert 1,06, Wochenmittel 0,89. |
Grenzen
- Die Zukunft ähnelt der letzten Woche: Trend, Niveausprung, Feiertage und Aktionen kennen die naiven Verfahren nicht. Der Fehler wächst mit dem Trend, und nach einem Sprung dauert es Wochen. Dafür sind Verfahren wie Exponentielle Glättung oder Dynamische Regression gedacht.
- Eine Reihe, eine Punktprognose: Alle Verfahren sehen nur die eigene Reihe; ähnliche Depots teilen ihr Wissen nicht. Das Rauschen der Reihe bleibt, die Untergrenze ist nicht null, und eine Punktprognose sagt nichts über das Risiko.
- Bedarf nie null: Bei vielen Nullen verzerren Mittelwerte die Prognose; hier liegt der Bedarf bei 100 Aufträgen je Tag.
- Erzeugte Reihe, zwölf Seeds: Die Reihe kennt genau die Muster, die sie erzeugt; echte Reihen sind unordentlicher (Ausreißer, Lücken, wechselnde Wochenmuster). Die Zahlen gelten für diese Reihen und Größen.
- Orakel: Die Untergrenze gilt im Mittel für Erwartungswert-Schätzer. Für die MAE wäre der Median der Reihe noch minimal besser (siehe Modell).
- Nicht enthalten: weitere Kennzahlen (sMAPE, RMSSE, Pinball-Verlust) und andere Formen der Kreuzvalidierung, etwa ein gleitendes statt wachsendes Trainingsfenster für die Ursprünge; die Verfahren selbst kennen ein gleitendes Fenster.
Quellen
- Hyndman, R. J., Koehler, A. B. (2006): Another look at measures of forecast accuracy. International Journal of Forecasting 22(4), 679–688 (MASE).
- Hyndman, R. J., Athanasopoulos, G.: Forecasting: Principles and Practice, 3. Aufl. (einfache Verfahren, Zeitreihen-Kreuzvalidierung).
- Quelltext, Messreihen und Tests der Demo: github.com/sebastian-hanisch/naive-forecast-demo.
Die genannten Arbeiten wurden für diese Seite nicht nachgeschlagen. Die Titel und die Jahreszahl stammen aus der README der Demo; Zeitschrift, Band und Seitenzahlen von Hyndman und Koehler stammen aus dem Gedächtnis des Autors und sind nicht gegen das Original geprüft.