maskinintelligens.se

Verktygslåda / MAPIE

MAPIE

MAPIE lägger konforma prediktionsintervall ovanpå en befintlig scikit-learn-modell. Man anger önskad täckningsgrad, biblioteket kalibrerar mot data modellen inte sett, och resultatet är intervall vars täckning går att kontrollera i efterhand.

Python

Det snabbaste sättet att gå från punktprognos till intervall utan att byta modell.

MAPIE implementerar konform prediktion med scikit-learns gränssnitt. Har ni redan en modell som fungerar behöver den inte röras. Intervallen läggs till ovanpå.

Vad det ger

Regression med intervall. Ange att ni vill ha 90 procents täckning och få undre och övre gräns per prediktion.

Klassificering med mängder. I stället för en klass returneras mängden klasser som tillsammans når önskad täckning. En osäker prediktion ger flera klasser. Det är en ärligare signal än en sannolikhet nära gränsen.

Adaptiva intervall. Varianter som gör intervallen bredare där modellen är osäker, i stället för lika breda överallt. Det är oftast det man vill ha, och skillnaden märks tydligt för en planerare.

Tidsserievarianter som uppdaterar kalibreringen löpande och därmed klarar långsam drift.

Varför det är värt de tio raderna kod

En prognos utan intervall går inte att fatta beslut på. Ska lagret dimensioneras för prognosen eller för utfallet som inträffar en gång på tjugo? Det är två helt olika kapitalbindningar.

Skillnaden mot att bara skatta felens standardavvikelse är att MAPIE inte antar att felen är normalfördelade. På verklig affärsdata är de nästan aldrig det, och antagandet felar mest i svansarna där besluten fattas.

Vad man behöver tänka på

Kalibreringsmängden måste vara data modellen inte tränats på, annars blir intervallen för smala, samma mekanism som vid dataläckage.

Garantin förutsätter att framtiden liknar kalibreringsdatan. Vid ett verkligt regimskifte gäller den inte. Det bör sägas rakt ut i leveransen i stället för att gömmas i dokumentationen.

Och täckningen ska följas upp i drift. Att lova nittio procent och aldrig kontrollera utfallet är inte bättre än att inte lova något.