Den mest kostsamma förväxlingen i datadrivna verksamheter är den mellan att förutsäga och att förklara.
En modell kan med hög träffsäkerhet förutsäga att kunder som fått ett rabatterbjudande handlar mer. Den kan inte säga om erbjudandet orsakade köpet, eller om erbjudandet skickades till de kunder som ändå skulle handlat. Båda förklaringarna passar datan lika bra. Ingen mängd ytterligare observationer avgör saken.
Varför mer data inte hjälper
Det här är inte ett statistiskt problem som löser sig med större stickprov. Det är ett logiskt problem.
Om en bakomliggande faktor påverkar både behandlingen och utfallet ser sambandet likadant ut oavsett hur många observationer man samlar. Fler rader gör skattningen precisare, inte riktigare. Man blir mer och mer säker på fel svar.
Vad ett experiment gör
Randomisering bryter kopplingen mellan behandlingen och allt annat.
När det slumpen och inte kundens egenskaper som avgör vem som får erbjudandet, finns det inte längre någon bakomliggande faktor som kan förklara skillnaden. Det är hela poängen, och det är därför ett litet experiment ofta är värt mer än år av historik.
Det gäller även faktorer ingen tänkt på. Randomisering skyddar mot okända störfaktorer, vilket ingen statistisk justering kan göra: man kan bara justera för det man mätt.
Popper och frågan som avslöjar
Karl Popper argumenterade för att vetenskaplig kunskap inte byggs genom att bekräfta teorier utan genom att försöka kullkasta dem. En teori som är förenlig med varje tänkbart utfall säger ingenting om världen, hur väl den än verkar förklara det som redan hänt.
Översatt till modellarbete blir det en fråga som är obehagligt användbar:
Vad skulle få oss att överge den här modellen?
Finns inget svar är det ingen modell. Det är en övertygelse med siffror på.
Frågan avslöjar de vanligaste bristerna direkt. En attributionsmodell som alltid visar att den senast klickade kanalen är den viktigaste kan inte falla. Den är konstruerad så. En prognos utan intervall kan aldrig ha fel på ett sätt som går att fastställa, eftersom varje utfall ligger “nära nog”.
Det praktiska svaret är att bestämma i förväg vad som ska räknas som ett misslyckande. En förutbestämd utvärderingsplan är falsifierbarhet i praktisk form: prediktionen skrivs ner innan utfallet är känt.
Duhem och Quine, eller varför ett misslyckat test inte räcker
Popper är en bra början och inte hela historien. Pierre Duhem och senare Willard Quine påpekade att en hypotes aldrig testas ensam. Den testas alltid tillsammans med en rad hjälpantaganden om mätning, urval och genomförande.
När experimentet inte ger den väntade effekten kan det bero på att hypotesen är fel. Det kan också bero på att effekten var mindre än vad urvalet räckte till, att implementationen hade en bugg, eller att utfallet mättes fel.
Konsekvensen i arbetet är inte uppgivenhet utan ordning: hjälpantagandena ska skrivas ner före testet, inte uppfinnas efteråt när resultatet blev obekvämt. Det är skillnaden mellan att lära sig något och att förhandla med data.
Tre nivåer av frågor
Judea Pearl brukar dela in dem så här, och indelningen är användbar i möten:
| Nivå | Frågan | Vad som krävs |
|---|---|---|
| Samband | Vad brukar hända tillsammans? | Observationsdata räcker |
| Ingrepp | Vad händer om vi gör X? | Experiment, eller starka antaganden |
| Kontrafaktiskt | Vad hade hänt om vi gjort annorlunda? | Modell av mekanismen |
Merparten av maskininlärning arbetar på första nivån. Merparten av de beslut som fattas på dess resultat ligger på den andra. Att göra den skillnaden explicit tidigt i ett uppdrag sparar mer besvikelse än något annat jag gör.
När experiment inte går
Ibland är det omöjligt eller oetiskt att randomisera. Då finns kvasiexperiment — difference-in-differences, syntetisk kontroll, regressionsdiskontinuitet — och verktyg som DoWhy och EconML som gör antagandena explicita och testar hur känsligt svaret är för dem.
Slutsatserna blir svagare, och de ska presenteras som svagare. Att redovisa vilka antaganden en slutsats vilar på är inte en brasklapp. Det är skillnaden mellan ett beslutsunderlag och en påstådd sanning.
Se experiment och kausalitet för hur det läggs upp i ett uppdrag.