Prognoseintervalle verständlich erklärt

Eine Prognose nennt eine einzelne Zahl. Wichtiger ist, wie weit der echte Wert davon abweichen kann. Diese Seite zeigt, wann ein Bereich um die Prognose hält, was er verspricht, und wann nicht.

Zuletzt aktualisiert: 11. November 2026

Ein Wort unbekannt? Das Begriffsverzeichnis erklärt es in wenigen Sätzen.

Eine Zahl reicht nicht

Eine Lagerleiterin plant am Abend den nächsten Tag. Ihr Rechenprogramm sagt: Morgen kommen 120 Aufträge. Danach richtet sie aus, wie viele Leute morgen packen.

Kommen nur 100 Aufträge, stehen Leute herum. Kommen 160, bleibt Arbeit liegen. Die einzelne Zahl verrät nicht, wie weit der echte Wert daneben liegen darf.

Deshalb nennt man einen Bereich um die Zahl. Fachleute sagen Prognoseintervall. Dazu gehört ein Versprechen: Bei 80 % soll der echte Wert an vier von fünf Tagen im Bereich liegen. Diese versprochene Trefferquote heißt Nennabdeckung.

Ob der Bereich sein Versprechen hält, sieht man erst im Nachhinein. Man zählt, an wie vielen Tagen der echte Wert wirklich im Bereich lag. Genau das prüft diese Seite.

Zu dieser Seite gehört ein Programm zum Ausprobieren im Browser, kurz Demo. Der erste Knopf unten öffnet es, der zweite führt zum zweiten Teil für Fachleute. Zum Verstehen brauchen Sie die Demo nicht. Sie rechnet mit erfundenen Lagern, etwa eines Lieferdienstes, und erfundenen Aufträgen aus mehreren Jahren. Wenn hier von Messung die Rede ist, meint das einen solchen Rechenlauf der Demo, bei dem Treffer gezählt werden. Alles hier beschreibt dieses vereinfachte Rechenbild, nicht die Wirklichkeit.

Fünf Wege zu einem Bereich

Wie kommt man auf den Bereich? Die Demo vergleicht fünf Wege. Alle legen einen Abstand nach oben und nach unten um die Prognose. Sie unterscheiden sich darin, woher der Abstand kommt. Ein Fehler ist dabei der Unterschied zwischen Prognose und echtem Wert.

• Der gleich breite Weg. Der Abstand ist die typische Abweichung der Prognose, an jedem Tag derselbe. Das ist wie eine Schablone, die für jeden Tag gleich zugeschnitten wird.
• Der prozentuale Weg. Der Abstand ist ein Anteil der Prognose, an ruhigen Tagen klein, an vollen Tagen groß. Das ist wie ein Trinkgeld: ein Anteil der Rechnung, kein fester Betrag.
• Der Übungsweg. Das Programm hat zuerst an älteren Tagen gelernt und dabei notiert, wie oft es für den jeweils nächsten Tag danebenlag. Der Abstand wird aus diesen Fehlern abgelesen. Der Haken: Geplant wird mehrere Tage voraus, und das irrt mehr, wie beim Wetter, wo übermorgen unsicherer ist als morgen.
• Der Rückblickweg. Der Abstand kommt aus den Fehlern der letzten Wochen, deren Tage schon vorbei sind. Wie bei einem Wetterdienst, der Vorhersage und Wirklichkeit vergleicht, zählen nur Fehler gleich weit vorausgeschauter Prognosen. Eine Prognose für zwei Wochen voraus wird an Fehlern von Zwei-Wochen-Prognosen gemessen.
• Der Nachregelweg. Wie der Rückblickweg, doch nach jedem Fehlschlag wird der Bereich etwas breiter, nach jedem Treffer etwas schmaler. So regelt man einen Duschhahn nach.

Wenn alle Tage gleich breit sind

Im Rechenbild gilt: Wo viel los ist, wird auch viel danebengeraten. Sonntags kommt im Mittel der Lager nur gut ein Drittel des Normalen. An einem ruhigen Tag ist auch die Abweichung in Stück klein, an einem vollen Tag groß. Ein gleich breiter Bereich ist deshalb sonntags zu weit und an den vollen Tagen zu eng.

Die Messung zeigt es. In einem Lauf mit 30 Lagern lag der gleich breite Bereich im Mittel nur wenig unter dem versprochenen Wert. Sonntags enthielt er den echten Wert fast immer. An einem der vollen Wochentage enthielt er ihn nur in knapp zwei Dritteln der Fälle.

Der prozentuale Weg behebt das. Sein Bereich ist sonntags schmal und an vollen Tagen breit. In derselben Messung lag seine Trefferquote an jedem Wochentag nahe am Versprechen. Wer nur den Durchschnitt über alle Tage prüft, hätte den Fehler nicht gesehen.

Wenn die Schwankung plötzlich wächst

Nun ändert sich etwas. Ab einem bestimmten Tag schwanken die Aufträge doppelt so stark, etwa weil neue Kundschaft dazukommt. Das Programm weiß davon nichts.

Wer seinen Abstand aus der ruhigen Zeit ableitet, behält ihn. Der prozentuale Weg und der Übungsweg fielen in der Messung von versprochenen 80 % auf rund 50 %. Der gleich breite Weg schnitt ähnlich schlecht ab. Der Bereich ist für die neue Unruhe zu eng.

Der Rückblickweg merkt den Wechsel nur nach und nach. Sein Rückblick enthält noch viele ruhige Wochen. Er kam auf knapp drei Viertel. Der Nachregelweg lag wieder bei rund 80 %. Er weitet den Bereich nach jedem Fehlschlag, bis die Trefferquote stimmt. Dazu braucht er die Rückmeldung, ob der Tag getroffen wurde. Bei einer Prognose weit voraus kommt sie entsprechend spät.

Was ein ehrlicher Bereich kostet

Einen Bereich ehrlich zu machen ist leicht: Man macht ihn breit genug. Ein Wetterbericht, der Temperaturen von eisig bis Gluthitze angibt, stimmt immer und hilft nie.

In der ruhigen Messung waren Rückblickweg und Nachregelweg etwas breiter als der prozentuale Weg. Dafür trafen sie das Versprechen genauer. Das hat einen Grund: Wer öfter treffen will, braucht mehr Platz. Der Vorteil war also die ehrlichere Trefferquote, nicht ein engerer Bereich.

Häufige Missverständnisse

• „Je breiter der Bereich, desto besser.“ Ein zu breiter Bereich trifft fast immer und sagt wenig. Wer danach Personal plant, hält mehr Reserve vor als nötig. Bei einem Versprechen von 80 % ist ein Bereich, der fast jeden Tag trifft, deshalb kein Gewinn. Er ist ein Zeichen, dass er zu weit gewählt wurde.
• „Wer nachregelt, hat ausgesorgt.“ Es gibt zwei Haken. Erstens wurde der Nachregelweg bei einem Versprechen von 95 % und wenigen extremen Tagen am breitesten, vermutlich weil jeder extreme Tag ein Fehlschlag ist (ein Messlauf). Zweitens: Er liest seinen Abstand aus den Fehlern der letzten Tage. Hat er nur 30, kann er ein so seltenes Ereignis wie einen von vierzig Tagen nicht ablesen. Seine Trefferquote blieb dann unter dem Versprechen von 95 %, auch ohne extreme Tage.

Woran Sie das im Alltag erkennen

• Ihr Navi nennt für den Heimweg eine Spanne. Liegen Sie freitagabends regelmäßig außerhalb, ist die Spanne an diesem Tag zu eng.
• Eine Spanne, die über viele Wochen nie danebenliegt, ist wahrscheinlich zu weit gewählt und sagt wenig.
• Gab es eine Baustelle auf dem Weg, passen Spannen aus der Zeit davor nicht mehr. Wer nur neue Fahrten misst, sieht es früher.

Wie ernst ist das Rechenbeispiel zu nehmen?

Die Lager und ihre Aufträge sind erfunden und folgen sauberen Mustern: Wochenrhythmus, Trend, Feiertage und zufällige Schwankungen, die mit dem Niveau wachsen. Echte Aufträge sind unordentlicher. Die Zahlen oben stammen aus einzelnen Messläufen und zeigen, wie sich die Wege verhalten, nicht, welcher in Ihrem Lager der beste wäre.

Was Sie mitnehmen

• Fragen Sie bei jedem Bereich, an welchen Tagen er in der Vergangenheit danebenlag, und nicht nur, wie oft im Schnitt.
• Fragen Sie, ob der Abstand aus Zeiten stammt, die der heutigen ähneln, und nicht aus der Zeit vor einem Umbruch.
• Fragen Sie bei jeder ehrlicheren Zusage, wie breit der Bereich dafür geworden ist.

Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.

Modell und Annahmen

Dieser Teil ist eigenständig lesbar. Er fasst zusammen, wie die Demo aus Punktprognosen Intervalle baut und ob diese ihre Nennabdeckung halten. Eine Punktprognose sagt „morgen 120 Aufträge“ und schweigt darüber, ob 100 oder 160 noch normal sind. Sicherheitsbestände, Personalreserven und Kapazitätspuffer folgen aus Quantilen der Prognose, nicht aus dem Punktwert.

• Daten: erzeugte Tagesaufträge von Depots, 1 095 Tage je Depot. Das Muster ist multiplikativ: Niveau, Trend, Wochen- und Jahresmuster (Rohwert des Sonntags 0,35; das Muster wird auf den Mittelwert eins normiert und je Depot unterschiedlich stark eingeblendet, sodass der Sonntag je Depot verschieden ruhig ist), Feiertage, Aktionen und log-normales Rauschen, mit eigenen Parametern je Depot. Dazu zwei Regler: ein Verteilungswechsel (Faktor auf die Streuung des Rauschens ab Tag 900) und Ausreißertage (Anteil der Tage mit einem zusätzlichen log-normalen Sprung der Streuung 0,7).
• Orakel: die wahren Quantile \(\mu\,e^{\rho z - \rho^2/2}\) des Rauschens mit wahrem Erwartungswert \(\mu\) des Tages und wahrer Log-Streuung \(\rho\) (nicht zu verwechseln mit \(\sigma\) unten, der geschätzten Streuung der Ein-Schritt-Fehler). Das Orakel kennt weder Ausreißer noch Rundung; es ist eine Messlatte, die keine Methode kennt.
• Punktmodelle: Holt-Winters multiplikativ (Voreinstellung), Regression auf Kalender und Aktionsplan im Log, Wochenmittel. Ihre Parameter stammen aus den Tagen vor Tag 610 und bleiben danach fest; bei Holt-Winters laufen die Zustände (Niveau, Trend, Saison) mit der Reihe weiter. Die Tage 610 bis 729 dienen der Kalibrierung, das Testjahr beginnt bei Tag 730.
• Ablauf: Ein Ursprung \(t\) heißt: bekannt sind die Tage bis \(t-1\). Zum Horizont \(k\) wird der Tag \(t+k-1\) prognostiziert. Der Horizont reicht in der Voreinstellung bis 14 Tage, die Abdeckungen sind über die Horizonte 1 bis 14 gemittelt, sofern nichts anderes dasteht. Ausgewertet wird über alle Ursprünge des Testjahres, bei den Nennabdeckungen 50, 80 und 95 %.
• Kennzahlen: Abdeckung (Anteil der Ist-Werte im Intervall), Breite und Intervall-Score nach Winkler (Breite plus Überschreitung, gewichtet mit \(2/\alpha\)), beide durch den saisonal naiven Fehler des Depots geteilt und über die Depots gemittelt, sowie der Pinball-Verlust über sechs Quantilstufen: die unteren und oberen Grenzen der Nennabdeckungen 50, 80 und 95 %. Aufschlüsselungen gibt es nach Wochentag, Horizont, Zieltag und Depot.
• Statistik und Voraussetzungen: Die drei Experimente (Wechsel, Ausreißer, Fenster) mitteln über drei feste Zufallsstarts (0, 1 und 2) mit je 20 Depots, Holt-Winters und Horizont 14. Die Einzelwerte stammen aus einem erzeugten Portfolio mit 30 Depots und Zufallsstart 3, ebenfalls Holt-Winters und Horizont 14, wo nichts anderes dasteht; belastbar sind die Zeilen über drei Zufallsstarts.

Fehlermaß und fünf Verfahren

Der Fehler einer Prognose \(F\) zum Ist-Wert \(y\) ist das Log-Verhältnis \(s\). Es ist an allen Wochentagen gleich groß skaliert, weil die Aufträge multiplikativ schwanken. Ein Quantil \(q\) dieser Fehler gibt das Prognosequantil, mindestens null:

\[s = \log\frac{y+1}{F+1}\]

\[(F+1)\,e^{q} - 1\]

Die fünf Verfahren unterscheiden sich darin, woher \(q\) oder der Abstand zur Prognose kommt. Mit \(\tau\) ist die Quantilstufe bezeichnet, mit \(z\) das Quantil der Standardnormalverteilung dazu, mit \(\alpha\) eins minus Nennabdeckung.

• Gauß roh: \(F \pm z\,\sigma\) mit der Standardabweichung \(\sigma\) der Ein-Schritt-Fehler \(y - F\) auf den Trainingstagen: eine Breite für alle Tage und Horizonte.
• Gauß im Log: \((F+1)\,e^{z\sigma_{\log}} - 1\) mit der Streuung \(\sigma_{\log}\) der Ein-Schritt-Log-Fehler: die Breite folgt dem Niveau.
• Empirisch: die Quantile \(q\) der Ein-Schritt-Log-Fehler auf den Trainingstagen selbst, ohne Normalverteilung, aber wieder nur Ein-Schritt-Fehler.
• Konform: \(q\) aus den zuletzt realisierten Fehlern desselben Horizonts. Das Kalibrierfenster umfasst die letzten \(W\) Ursprünge, deren Zieltag zum aktuellen Ursprung schon bekannt ist; \(m\) ist die Zahl der Fehler darin. Es gilt \(m = W\), solange der Kalibrierzeitraum (Tage 610 bis 729) genug Ursprünge liefert, zu Beginn des Testjahres ist \(m\) kleiner. Das Quantil liegt auf einem Rang der aufsteigend sortierten Fehler (Endlichkeitskorrektur, siehe unten).
• ACI (adaptiv konform): wie konform, aber mit einer Fehlerrate \(\alpha_k\) statt der festen Zielrate \(\alpha\), geführt je Depot, Horizont \(k\) und Nennabdeckung. Die Definition folgt nach den Formeln.

Die Endlichkeitskorrektur des konformen Verfahrens wählt für obere Stufen \(\tau\) den Rang \(\lceil (m+1)\tau \rceil\) in den sortierten Fehlern, für untere den Rang \(\lfloor (m+1)\tau \rfloor\), jeweils auf 1 bis \(m\) begrenzt. Der obere Rang lautet:

\[\lceil (m+1)\tau \rceil\]

Mit \(a\) als unterem und \(b\) als oberem Rang ist die erwartete Abdeckung bei austauschbaren Fehlern ohne Gleichstände \((b-a)/(m+1)\): Der Rang des neuen Werts unter \(m+1\) Werten ist dann gleichverteilt. Bei ACI wird \(\alpha_k\) nach jeder realisierten Prognose um den folgenden Term verändert, wobei „Fehlschlag“ für eins steht, wenn der Ist-Wert außerhalb des Intervalls lag, sonst für null:

\[\gamma\,(\alpha - \text{Fehlschlag})\]

Dabei ist \(\gamma\) die Schrittweite, ein Regler der Demo mit Werten von null bis 0,1. Die Fehlerrate \(\alpha_k\) startet bei \(\alpha\) und wird bei jeder realisierten Prognose um den Term erhöht oder gesenkt: Nach einem Fehlschlag sinkt sie um \(\gamma(1-\alpha)\), nach einem Treffer steigt sie um \(\gamma\alpha\). Aus \(\alpha_k\), auf das Intervall von null bis eins begrenzt, werden die beiden Ränge gebildet, nach der Formel der Endlichkeitskorrektur mit den Stufen \(1-\alpha_k/2\) (oben, Rang \(\lceil (m+1)(1-\alpha_k/2) \rceil\)) und \(\alpha_k/2\) (unten, Rang \(\lfloor (m+1)\alpha_k/2 \rfloor\)), beide auf 1 bis \(m\) begrenzt. Sinkt \(\alpha_k\) auf null oder darunter, liegen beide Grenzen am Rand der gesammelten Fehler: Das Intervall bleibt endlich, anders als in der Originalarbeit. Ohne Schrittweite (\(\gamma = 0\)) ist ACI genau das konforme Verfahren. Die Rückmeldung für Horizont \(k\) kommt \(k\) Tage später: Am Ursprung \(t\) werden die Prognosen von Ursprung \(t-k\) mit Horizont \(k\) bewertet, deren Zieltag \(t-1\) ist.

Warum rohe Intervalle wochentagsabhängig falsch sind

Rechnung dieser Seite, keine Messung der Demo: Bei multiplikativem Rauschen ist die Streuung von \(y - F\) proportional zum Niveau des Tages. Gauß roh schätzt eine einzige Streuung \(\sigma\) über alle Tage. Seine Halbbreite \(z\sigma\) ist deshalb an jedem Tag gleich, relativ zum Niveau aber an schwachen Tagen groß und an starken klein. An schwachen Tagen deckt das Intervall zu viel ab, an starken zu wenig. Im Log ist der Fehler \(s\) an allen Tagen ähnlich verteilt, sodass eine einzige Streuung \(\sigma_{\log}\) genügt.

Befunde im ruhigen Fall

Voraussetzung: Holt-Winters als Punktmodell, Horizont 14, ein erzeugtes Portfolio mit 30 Depots, Zufallsstart 3, Nennabdeckung 80 % und 95 %. Das sind Einzelwerte eines Portfolios, keine Mittel.

Verfahren	Abdeckung bei Nenn 80 %	Abdeckung bei Nenn 95 %
Gauß roh	75,7 %	89,0 %
Gauß im Log	78,0 %	93,1 %
Empirisch	76,5 %	93,3 %
Konform	79,4 %	95,2 %
ACI	79,9 %	95,0 %
Orakel	79,7 %	–

Die rohe Gauß-Abdeckung liegt im Mittel unter der Nennabdeckung und ist je Wochentag zusätzlich stark verzerrt (Tabelle unten). Die Rechnung weiter oben erklärt nur die Verzerrung je Wochentag, nicht die Unterdeckung im Mittel; deren Ursache ist nicht untersucht (vermutlich spielt eine Rolle, dass Ein-Schritt-Fehler der Trainingstage die Fehler bei längerem Horizont unterschätzen). Konform und ACI kommen im stationären Fall an die Nennabdeckung heran. Dafür kaufen sie Abdeckung, nicht Genauigkeit: Bei Nenn 80 % sind ihre Intervalle breiter, und der Intervall-Score ist nicht besser als der des Gauß im Log. Für das empirische Verfahren ist die Tabelle unten nicht angegeben; Score und Breite lassen sich nachrechnen (Nachrechnung dieser Seite mit dem Quelltext): Der Score ist praktisch gleich dem des Gauß im Log, die Breite etwas kleiner.

Verfahren (Nenn 80 %)	Intervall-Score	Pinball-Verlust	Breite
Gauß roh	4,48	0,228	2,48
Gauß im Log	3,99	0,207	2,66
Konform	4,08	0,211	2,81
ACI	4,16	0,214	2,92
Orakel	3,15	0,165	2,28

Warum der konforme Score nicht besser ist, ist nicht isoliert. Vermutet wird, dass das Fenster von 90 Werten die Quantile unruhiger macht. Mit der Regression als Punktmodell kehrt sich die Reihenfolge um.

Frage	Befund
Gauß roh je Wochentag (Nenn 80 %)	Abdeckung zwischen 62,9 % und 97,8 %; sonntags viel zu breit, an den starken Tagen zu schmal. Im Log gerechnet liegt derselbe Ansatz je Wochentag zwischen 75 und 80 %.
Regression als Punktmodell (Nenn 80 %)	MASE der Punktprognose (mittlerer absoluter Fehler geteilt durch den saisonal naiven) 0,78 gegen 0,87 bei Holt-Winters. Konform 80,0 %, Gauß im Log 75,2 %. Intervall-Score konform 3,25, Gauß im Log 3,51, Orakel 3,15.
Endlichkeitskorrektur (90 Fehler im Fenster)	Erwartete Abdeckung (82−9)/91 = 0,802 bei Nenn 80 % und 87/91 = 0,956 bei Nenn 95 %.

Befunde bei Verteilungswechsel und Ausreißern

Voraussetzung beim Wechsel: Mittel der drei Experiment-Zufallsstarts, Nennabdeckung 80 %, nur Zieltage ab Tag 900, Faktor auf die Streuung des Rauschens wie angegeben. Gauß roh erreicht beim Faktor 2 nur 53,9 %. Ein einzelnes Portfolio mit 30 Depots zeigt dieselbe Rangfolge.

Faktor	Gauß im Log	Empirisch	Konform	ACI
1	78,2 %	77,2 %	79,6 %	80,1 %
1,5	62,3 %	61,3 %	75,9 %	80,1 %
2	50,4 %	49,4 %	73,3 %	80,2 %

Gauß und Empirisch, deren Streuung nur aus den Tagen vor Tag 610 stammt, brechen ein. Das konforme Verfahren mit einem Fenster von 90 Tagen nimmt den Wechsel erst nach und nach auf. ACI gleicht ihn aus. Die Garantie der Konformen gilt für austauschbare Fehler, nicht für einen Wechsel.

Voraussetzung bei den Ausreißern: Mittel der drei Experiment-Zufallsstarts, Nennabdeckung 50 %, Anteil der Ausreißertage wie angegeben.

Ausreißertage	Gauß roh	Gauß im Log	Empirisch	Konform
0 %	52,5 %	49,1 %	47,7 %	51,2 %
2 %	59,5 %	54,3 %	47,3 %	50,5 %
5 %	66,2 %	59,1 %	47,4 %	49,8 %
Breite relativ zum Orakel bei 5 %	1,87	–	1,22	1,32

Die Standardabweichung ist nicht robust: Wenige Ausreißer blähen sie auf, das rohe Intervall überdeckt mehr als versprochen und ist entsprechend breit. Empirisch und konform bleiben bei der Nennabdeckung. Der Preis des Nachführens zeigt sich bei Nenn 95 %: Nach Ausreißern wird ACI am breitesten, vermutlich weil jeder Ausreißer ein Fehlschlag ist und \(\alpha_k\) senkt (Deutung dieser Seite, nicht isoliert). Die folgende Tabelle gilt für ein Portfolio mit 30 Depots, Zufallsstart 3 und 5 % Ausreißertagen.

Verfahren (Nenn 95 %)	Breite	Intervall-Score
Gauß im Log	4,75	8,69
Empirisch	4,05	8,72
Konform	6,00	9,82
ACI	8,11	11,59
Orakel	2,73	8,04

Befunde zu Kalibrierfenster und Horizont

Voraussetzung beim Fenster: Mittel der drei Experiment-Zufallsstarts, Nennabdeckung 95 %. Mit 30 Fehlern im Fenster verlangt die obere Stufe den 31. von 30 Werten. Das Quantil bleibt am Rand, die erwartete Abdeckung reicht höchstens bis 29/31 = 0,935. Für Nenn 95 % braucht es mindestens 39 Werte im Fenster.

Fenster (Tage)	Konform	ACI
30	91,8 %	91,8 %
60	95,9 %	94,6 %
120	94,5 %	94,9 %

Bei 120 Tagen beträgt die Standardabweichung der Abdeckung zwischen den Depots bei Konform 1,1 und bei ACI 0,5 Prozentpunkte. ACI kann das zu kleine Fenster nicht ausgleichen. Die Reihe der konformen Abdeckung ist über die Fenster nicht monoton. Das folgt zum Teil aus der Rundung der Ränge: Die erwartete Abdeckung der Endlichkeitskorrektur fällt von 60 auf 120 Tage (Rechnung dieser Seite, keine Messung). Wie viel vom gemessenen Unterschied Zufall ist, belegt die Messung über drei Zufallsstarts nicht.

Voraussetzung beim Horizont: Holt-Winters, ein Portfolio mit 30 Depots, Zufallsstart 3, Nennabdeckung 80 %, Horizont 28 Tage (statt 14). Auch das konforme Verfahren verliert bei langem Horizont. Warum, ist nicht isoliert. Vermutet wird, dass die Fehler des Modells mit dem Alter der Parameter wachsen und das Fenster hinterherhinkt.

Verfahren	Abdeckung an Tag 1	Abdeckung an Tag 28
Gauß im Log	79,8 %	72,8 %
Konform	80,4 %	74,1 %
ACI	80,2 %	79,1 %

Grenzen und was die Messung zeigt

Die Zahlen oben gelten für erzeugte Portfolios, die genau die Muster enthalten, die die Verfahren voraussetzen (multiplikativ, log-normal). Echte Portfolios sind unordentlicher. Einzelwerte eines Portfolios sind keine Mittel; belastbar sind die Zeilen über drei Zufallsstarts, und auch sie haben keine ausgewiesenen Standardfehler. Kleine Unterschiede (etwa zwischen Konform und ACI bei der Abdeckung oder zwischen Konform und Gauß im Log beim Score) sind daher keine gesicherten Unterschiede, zumal aufeinanderfolgende Tage nicht unabhängig sind. Dazu im Einzelnen:

• Normalverteilt und gleich breit: Roh gerechnet sind die Intervalle je Wochentag falsch, Ausreißer blähen die Standardabweichung auf. Abhilfe: im Log rechnen, Quantile statt Standardabweichung.
• Trainingsfehler sind Prognosefehler: Ein-Schritt-Fehler auf den Trainingstagen unterschätzen die Fehler bei längerem Horizont und außerhalb der Stichprobe. Abhilfe: Kalibrierung auf realisierten Fehlern je Horizont.
• Austauschbare Fehler: Die Garantie der Konformen beruht darauf; ein Wechsel bricht sie. ACI gleicht den Wechsel aus, braucht dafür aber zeitnahe Rückmeldung und wird nach Ausreißern breit. Weil die Ränge auf 1 bis \(m\) begrenzt sind, gilt die Langzeitgarantie der Originalarbeit hier nicht unverändert, und die Nähe zur Nennabdeckung ist zum Teil Konstruktion des Verfahrens, kein unabhängiger Befund (Einschätzung dieser Seite). Ob die Fehler aufeinanderfolgender Tage austauschbar sind, wurde nicht geprüft; im ruhigen Fall liegt die Abdeckung nahe an der Nennabdeckung (Einschätzung dieser Seite).
• Genug Kalibrierpunkte: Bei zu kleinem Fenster bleibt das Quantil am Rand, die Nennabdeckung ist nicht erreichbar.
• Abdeckung im Mittel: Die Garantie gilt im Mittel über Wochentage, Horizonte und Depots, nicht je Wochentag oder je Depot. Abhilfe wären konditionale Konforme (nach Wochentag oder Depot getrennt) oder eine Normierung der Fehler.
• Orakel bei Ausreißern: Das Orakel kennt die Ausreißer nicht und ist dort selbst nicht kalibriert: Bei 5 % Ausreißertagen deckt es im Mittel über die drei Zufallsstarts knapp zwei Prozentpunkte weniger als die Nenn-50 % und gut drei Prozentpunkte weniger als die Nenn-95 % (Nachrechnung dieser Seite mit dem Quelltext der Demo). Die Breite relativ zum Orakel vergleicht bei Ausreißern daher mit einer Messlatte, die die Nennabdeckung selbst verfehlt. Auch ohne Ausreißer misst dieser Abstand nicht nur die Konstruktion des Intervalls, weil die Verfahren zusätzlich den Fehler der Punktprognose tragen, das Orakel nicht.
• Intervalle aus Punktmodell-Fehlern: Ein Quantilverlust im Modell (Boosting mit Pinball-Verlust), Quantilregression und modellbasierte Varianzformeln der Zustandsraumform von Holt-Winters sind nicht umgesetzt. Gauß nimmt die Ein-Schritt-Streuung für alle Horizonte.

Quellen

• Vovk, Gammerman, Shafer (2005): Algorithmic Learning in a Random World (konforme Vorhersage).
• Angelopoulos, Bates (2023): A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification.
• Gibbs, Candès (2021): Adaptive Conformal Inference Under Distribution Shift (ACI).
• Gneiting, Raftery (2007): Strictly Proper Scoring Rules, Prediction, and Estimation (Intervall-Score, Scoring-Regeln).
• Hyndman, Athanasopoulos: Forecasting: Principles and Practice, dritte Auflage (Prognoseintervalle).

Die Demo baut die Verfahren selbst nach ihrer Definition und bildet die Werke nicht nach.