Nästan varje uppdrag stöter på samma vägval. Ni vill skatta något per segment: konverteringsgrad per kanal, elasticitet per artikel, livstidsvärde per kohort. Några segment har gott om data. De flesta har nästan ingen.
Det finns två uppenbara vägar och båda är dåliga.
Ingen pooling: en egen skattning per segment. Segmentet med elva observationer får en siffra som är rent brus, och eftersom brus har hög varians hamnar just de små segmenten oftast i topp och i botten av rangordningen. Det ser ut som en upptäckt och är en artefakt.
Full pooling: en gemensam skattning för alla. Nu är bruset borta och signalen med det. Segment som faktiskt skiljer sig behandlas som om de vore likadana.
Vad partiell pooling gör
En hierarkisk modell antar att segmentens värden själva kommer från en fördelning. Modellen skattar den fördelningen samtidigt som den skattar varje segment, och resultatet blir en kompromiss som viktas av datamängden.
Ett segment med tiotusen observationer hamnar i praktiken på sitt eget medelvärde. Ett segment med elva observationer dras kraftigt mot helheten. Och — det här är poängen — ingen behöver bestämma var gränsen går. Viktningen faller ut ur modellen.
| Segmentstorlek | Vad som händer |
|---|---|
| Stort | Skattningen blir i princip segmentets egen |
| Mellan | Delvis egen, delvis dragen mot helheten |
| Litet | Nära helhetens medelvärde, med brett intervall |
| Inget alls | Får helhetens fördelning som prediktion |
Sista raden är värd att stanna vid. En hierarkisk modell kan ge en rimlig skattning för ett segment den aldrig sett, vilket ingen av de två uppenbara vägarna klarar.
Var det biter hårdast
Nya artiklar och nya butiker. De har per definition ingen historik. Hierarkin ger dem kategorins beteende tills de hunnit visa sitt eget.
Elasticitetsskattning i långsvansen. De flesta artiklar har för få prisförändringar för en egen elasticitet. Poolat mot kategori blir de användbara.
Kohortanalys. Den senaste kohorten är alltid den minsta och den mest intressanta.
Vad det kostar
Hierarkiska modeller är långsammare att träna och kräver att man faktiskt tänker igenom strukturen: vad som grupperar vad, och på vilka nivåer. De är också svårare att förklara för någon som väntat sig ett medelvärde.
Å andra sidan får man osäkerhetsintervall på köpet, och de blir bredare just för segmenten där de borde vara det. Det är ofta första gången någon i organisationen ser vilka av deras siffror som faktiskt är gissningar.
I praktiken byggs de här modellerna oftast i Stan eller PyMC.