De flesta prediktionsintervall är önsketänkande. De bygger på att felen är normalfördelade och homoskedastiska, vilket de sällan är, och ingen kontrollerar i efterhand om täckningen stämde.
Konform prediktion vänder på ordningen. Den mäter hur stora felen faktiskt blev på data modellen inte sett, och konstruerar intervallet därifrån.
Hur det går till
- Träna modellen som vanligt
- Låt den prediktera på en separat kalibreringsmängd
- Beräkna de absoluta felen där
- Ta den kvantil som motsvarar önskad täckning: för 90 procent, det fel som 90 procent av observationerna ligger under
- Intervallet blir prediktionen plusminus det värdet
Det låter för enkelt för att ge en garanti, men den håller under ett svagt antagande: att kalibrerings- och testdata kommer från samma fördelning.
Varför det är användbart i uppdrag
Modelloberoende. Fungerar ovanpå gradient boosting, neurala nät eller en enkel regel. Byter ni modell behöver intervallmetoden inte ändras.
Verifierbart. Täckningsgraden går att mäta i efterhand. Det gör det till ett av få löften i den här branschen som faktiskt kan kontrolleras av kunden. Det är i sig ett säljargument.
Ärligt vid tunn data. Är modellen osäker blir intervallen breda. Det ser sämre ut i en presentation och är rätt.
Adaptiva intervall
Grundvarianten ger lika breda intervall överallt. Det är otillfredsställande när osäkerheten varierar mellan artiklar eller perioder.
Varianter som normaliserar felen med en skattning av lokal osäkerhet ger intervall som vidgas där modellen är osäker. Det är oftast värt komplikationen, eftersom just den variationen är vad en planerare vill se.
Begränsningen
Garantin gäller under antagandet om utbytbarhet: att framtiden liknar kalibreringsdatan. Vid ett verkligt skifte i marknaden gäller den inte, precis som ingen annan metod gör det.
För tidsserier finns anpassade varianter som uppdaterar kalibreringen löpande och därmed hanterar långsam drift. Ett abrupt regimskifte hanterar de inte heller, och det bör sägas rakt ut i stället för att döljas i en fotnot.