Valet av felmått är ett affärsbeslut förklätt till en teknisk detalj. Måttet bestämmer vad modellen optimerar mot, och därmed vilka fel den kommer att göra.
Vad de vanliga måtten antar
| Mått | Antar att… | Passar när |
|---|---|---|
| MAE | alla fel kostar lika per enhet | felkostnaden är linjär |
| RMSE | stora fel är oproportionellt dyrare | enstaka stora missar gör verklig skada |
| MAPE | fel är proportionella mot storleken | artiklar av olika storlek jämförs |
| AUC | bara rangordningen spelar roll | en fast andel ska väljas ut |
| Log loss | sannolikheterna ska vara kalibrerade | talet används i en vidare uträkning |
Där det oftast går fel
MAPE vid asymmetriska kostnader. I lagerstyrning kostar underprognos en förlorad försäljning och överprognos kapitalbindning och svinn. De är sällan lika dyra. MAPE behandlar dem som identiska, och en modell tränad mot MAPE kommer systematiskt att välja fel sida av osäkerheten.
MAPE vid små tal. Ett fel på två enheter när sanningen är ett ger 200 procents fel. Sortiment med långsamgående artiklar får därför sitt utfall styrt av just de artiklar som spelar minst roll.
Träffsäkerhet vid sällsynta utfall. Om två procent av kunderna churnar får en modell som alltid säger “stannar” 98 procents träffsäkerhet. Se obalanserade klasser.
AUC när talet ska räknas vidare. AUC bryr sig bara om ordningen. Ska sannolikheten multipliceras med ett kundvärde måste den vara kalibrerad, och det mäter AUC inte alls.
Bygg måttet ur kostnaden
Det bästa felmåttet är oftast inte något med ett namn. Det är kronor.
Om ni kan sätta ett belopp på ett fel åt vardera hållet går det att skriva en kostnadsfunktion och utvärdera direkt mot den. Då försvinner hela diskussionen om vilken förkortning som är rätt, och modellen optimerar mot det ni faktiskt bryr er om.
Ett vanligt mellansteg när exakta belopp saknas: pinball loss för prognoser med asymmetrisk kostnad, som låter er ange hur många gånger dyrare en underprognos är än en överprognos utan att kräva exakta kronor.
Ett mått räcker sällan
Redovisa två eller tre, valda för att fånga olika sorters fel, och en av dem uttryckt i verksamhetens egna enheter: uteblivna ordrar, bundet kapital, räddade kunder. Det sista är det enda som någon utanför analysavdelningen kan ha en åsikt om, och deras åsikt är den som avgör om modellen används.