Två procent av kunderna churnar per månad. En modell som alltid säger “stannar” har 98 procents träffsäkerhet och noll värde.
Det är ett välkänt exempel, och ändå är omedveten användning av träffsäkerhet fortfarande en av de vanligaste bristerna jag stöter på vid modellgranskningar.
Börja i måttet, inte i datan
Reflexen är att balansera datan: översampla minoriteten, undersampla majoriteten, generera syntetiska fall. Det är ofta ett svar på fel fråga.
Frågan är vad ett fel kostar. Att missa en churnande kund kostar kundens värde. Att felaktigt kontakta en nöjd kund kostar samtalet, och möjligen lite irritation. De är sällan lika dyra, och när kostnaderna är kända följer måttet av sig självt.
Användbara mått:
| Mått | När |
|---|---|
| Precision och täckning vid en tröskel | När en fast andel ska väljas ut |
| PR-kurva | Bättre än ROC vid stark obalans |
| Lift vid topp-N | När budgeten avgör hur många som kan kontaktas |
| Förväntad kostnad | Bäst av alla, när beloppen går att sätta |
Lift vid topp-N är oftast den som går hem i verksamheten. “Bland de tusen kunder modellen rangordnar högst finns 340 av de som faktiskt lämnar, mot 20 vid slumpmässigt urval” är begripligt för alla i rummet.
Om omviktning ändå görs
Ibland behövs det, framför allt när minoriteten är så liten att modellen annars inte lär sig något alls.
Två saker att hålla reda på då:
Sannolikheterna hamnar i fel skala. Efter omviktning är de inte längre jämförbara med verklighetens frekvenser. Ska talet räknas vidare måste det kalibreras tillbaka.
Utvärdera aldrig på omviktad data. Testmängden ska ha verklighetens proportioner. Annars mäter ni prestanda i en värld som inte finns.
Syntetiska minoritetsfall
Metoder som SMOTE genererar konstgjorda exempel av den sällsynta klassen. De är populära och min erfarenhet är att de sällan hjälper på tabelldata från verksamheter.
Skälet är att de interpolerar mellan befintliga fall, och de intressanta sällsynta händelserna är sällan interpolationer av varandra. De är sällsynta just för att de är särpräglade. Att i stället välja rätt mått och sätta rätt tröskel ger nästan alltid mer.
Tröskeln är ett affärsbeslut
En modell ger en sannolikhet. Var gränsen ska gå för att agera är inte en teknisk fråga utan en avvägning mellan kostnaden för de två feltyperna.
Den ska sättas av den som bär kostnaden, med underlag som visar hur många fall och hur mycket värde som fångas vid olika trösklar. Inte av ett standardvärde på 0,5.