maskinintelligens.se

Metod / Räknedata

Räknedata

Räknedata är observationer som består av antal: ordrar, besök, ärenden, fel. De kan inte vara negativa, de är heltal, och deras spridning växer med nivån. Att modellera dem med vanlig linjär regression fungerar tills värdena blir små, och då slutar det fungera på ett sätt som är lätt att missa.

Används för: ordrar, besök, ärenden, fel, enheter

Den här sidan är beslutsgången. Fördelningarna beskrivs var för sig under fördelningar; här handlar det om hur man väljer mellan dem på riktig data.

Steg 1: är det verkligen räknedata

Antal ordrar är det. Omsättning är det inte, även om den redovisas i hela kronor. Skillnaden är om storheten uppstår genom att diskreta händelser räknas.

Aggregerade summor av många händelser går ofta bra att behandla som kontinuerliga, och då är gammafördelningen rimligare.

Steg 2: jämför medelvärde och varians

Räkna båda i era data, gärna uppdelat på de grupper ni bryr er om.

Förhållande Slutsats
Varians ≈ medelvärde Poisson kan duga
Varians > medelvärde Överspridning, gå till negativ binomial
Varians ≫ medelvärde och många nollor Överväg nollinflation
Varians < medelvärde Ovanligt, tyder ofta på en aggregeringseffekt

Överspridning är regel, inte undantag. Så fort observationerna kommer från enheter som skiljer sig åt — olika kunder, olika butiker — uppstår den av sig själv.

Steg 3: hantera exponeringen

Antal per vad? Tio fel på en maskin som gått 40 timmar är inte jämförbart med tio fel på en som gått 400.

I en GLM hanteras det med en offset: logaritmen av exponeringstiden läggs in som en term med fast koefficient. Det låter modellen skatta en intensitet i stället för ett antal. Det är intensiteten som faktiskt är jämförbar.

Att i stället dividera och modellera kvoten är vanligt och sämre: det kastar bort informationen om att en observation baserad på 400 timmar är mer tillförlitlig än en baserad på 40.

Steg 4: se på nollorna

Många nollor är normalt i räknedata och inget problem i sig. Frågan är om de uppstår av ett skäl eller två.

Om alla kunder i princip kan köpa men de flesta råkar inte göra det under perioden, räcker negativ binomial. Om en del kunder är helt inaktiva och aldrig kommer köpa, är det två olika processer och de bör modelleras som två.

Vanligaste misstaget

Att logaritmera antalet och köra linjär regression. Det havererar på nollorna, eftersom logaritmen av noll är odefinierad, och den vanliga lösningen att lägga till ett före logaritmeringen förvränger resultatet systematiskt, mest för de små värden som ofta utgör merparten av observationerna.

En GLM med Poisson- eller negativ binomialutfall och logaritmisk länkfunktion ger den multiplikativa tolkning man var ute efter, utan att behöva förvanska datan först.