Frågan “är modellen bra?” har inget svar. Frågan “är modellen bättre än att upprepa förra veckans utfall, och är skillnaden värd driftkostnaden?” har det.
Ändå börjar de flesta projekt utan att någon mätt vad det enkla alternativet presterar. Det gör att alla efterföljande siffror saknar tolkning, och det döljer den obekväma möjligheten att den befintliga manuella rutinen redan är tillräckligt bra.
Vad som duger som baslinje
En ärlig baslinje ska vara enkel nog att ingen kan anklaga den för att vara lättslagen på konstgjord väg.
| Uppgift | Rimlig baslinje |
|---|---|
| Prognos | Säsongsnaiv: samma period förra året, eller förra veckans värde |
| Livstidsvärde | Historiskt spenderat belopp per kund |
| Churn | Basfrekvensen, plus enkel regel på inaktivitetstid |
| Klassificering | Alltid den vanligaste klassen |
| Pris | Nuvarande prissättning |
Lägg till en till: dagens arbetssätt. Den är svårare att mäta men den mest relevanta, för det är den modellen faktiskt ska ersätta. Om planeraren som justerar prognosen för hand slår er nya modell, är det den viktigaste upptäckten i hela projektet.
När baslinjen vinner
Det händer, och oftare än branschen gärna medger. Tre vanliga fall:
Kort historik. Det finns helt enkelt inte mönster nog för att en modell ska kunna lära sig något som en enkel regel inte redan fångar.
Dominerande yttre faktorer. Om utfallet till nittio procent styrs av något som inte finns i datan spelar modellvalet ingen roll.
Litet beslutsutrymme. Om beslutet ändå bara har tre möjliga utfall behöver inte skattningen vara särskilt precis för att välja rätt.
I samtliga fall är rätt leverans en rapport som säger det, inte en modell som sätts i drift för att någon redan beställt en.
En levande baslinje
I system som fattar beslut löpande räcker det inte att mäta baslinjen en gång. Modellen påverkar sin egen framtida data — bjuder den lågt på ett segment slutar segmentet generera observationer — och då slutar den historiska jämförelsen vara giltig.
Botemedlet är att hålla en liten andel av trafiken utanför modellen permanent. Det kostar något i uteblivet resultat och är det enda som besvarar frågan “gör den fortfarande nytta” direkt i stället för att antyda ett svar.
Det är en lärdom från åren med annonsoptimering, där återkopplingen är snabb nog att man märker det. I ett CRM-system tar samma sak två år att upptäcka.