Vad kostar det att anlita dig?
Priserna står på sajten. Förstudie 95 000–140 000 kr, mätdesign och modellgranskning 55 000–95 000 kr, full leverans 280 000–650 000 kr. Rådgivning per timme. Spannen förklaras på prissidan.
Vanliga frågor
Vanliga frågor
Frågorna nedan är de som faktiskt ställs. Saknas din, hör av dig. Den hamnar antagligen här efteråt.
Om att anlita mig
Arbetar du på plats eller på distans?
Båda. Uppstart och överlämning fungerar bäst på plats, resten går utmärkt på distans. Jag utgår från Stockholm och arbetar i hela Norden.
Hur snabbt kan du börja?
Beror på beläggningen. Ett första samtal går alltid att få inom någon vecka, och det är där vi avgör om det finns något att göra.
Tar du korta uppdrag?
Ja. En modellgranskning eller mätdesign tar en till två veckor. Det är ofta en bättre början än ett stort åtagande.
Vi har redan ett datateam. Vad tillför du?
Oftast metoddjup inom ett avgränsat område, eller ett oberoende par ögon. Skickliga team blir betrodda, och då granskas deras antaganden mer sällan. Det handlar inte om kompetens utan om blinda fläckar.
Kan jag få referenser?
Ja, det ordnar jag gärna.
Kan vi anlita dig via vår konsultleverantör?
Jag arbetar i första hand direkt mot slutkund. Det håller nere kostnaden för er och gör att jag kan prata med den som faktiskt fattar beslutet.
Vad händer om modellen inte fungerar?
Det är därför förstudien finns. Den avgör om det går innan bygget kostar något, och ibland är slutsatsen att ni inte ska bygga. Det är ett fullgott utfall.
Livstidsvärde (CLV)
Vad är skillnaden mellan CLV och LTV?
Ingen. Customer lifetime value och lifetime value används synonymt. LTV förekommer oftare i SaaS-sammanhang och CLV i e-handel, men de betecknar samma sak. På svenska används livstidsvärde eller kundlivstidsvärde.
Varför räcker inte formeln snittordervärde gånger köpfrekvens gånger livslängd?
För att den bygger på medelvärden av storheter som är kraftigt snedfördelade. Några få kunder står för merparten av värdet, och ett medelvärde beskriver ingen av dem. Formeln kan dessutom varken hantera att köpfrekvensen avtar över tid eller ge dig någon uppfattning om osäkerheten.
Hur mycket data krävs?
Som tumregel två års transaktionshistorik och några tusen kunder. Med mindre går det fortfarande, men osäkerhetsintervallen blir breda, och då säger jag det i stället för att leverera en falsk precision.
Kan modellen köras i vår egen miljö?
Ja, och det är normalfallet. Jag arbetar helst i er molnmiljö så att kunddata aldrig lämnar er kontroll.
Kundbortfall och churn
Hur beräknas churn rate?
Antalet kunder som lämnat under perioden delat med antalet kunder vid periodens början. Talet är enkelt men trubbigt: det säger inget om vilka som lämnade, när i relationen det skedde, eller vad de var värda. Det är därför det sällan går att agera på.
Vi har låg churn. Är det värt att modellera?
Ofta ja, för då är varje förlorad kund dyrare. Men låg churn gör datan obalanserad, och obalans kräver andra utvärderingsmått. Det reds ut i förstudien.
Skiljer sig abonnemang från e-handel?
Ja, i grunden. I abonnemang är uppsägningen en observerbar händelse. I e-handel säger kunden aldrig upp, hen slutar bara komma tillbaka. Då måste själva bortfallet skattas i stället för observeras.
Kan modellen säga varför en kund lämnar?
Den kan peka ut vilka faktorer som samvarierar med bortfall. Samvariation är användbart men inte samma sak som orsak. Vill ni veta vad som faktiskt orsakar bortfallet krävs försök, inte enbart historisk data.
Efterfrågeprognoser och tidsserier
Vi har redan en prognosmodul i affärssystemet. Behöver vi det här?
Kanske inte. Men systemets prognos är nästan alltid en punktskattning utan uppgift om osäkerhet, och den är tränad på en generisk modell snarare än på det som styr just er efterfrågan. Frågan att ställa internt är hur fel den brukar bli. Kan ingen svara är det värt en halvdag.
Hur mäter ni att prognosen är bra?
Mot en baslinje, över flera tidsfönster, med ett felmått som passar beslutet. För lagerstyrning är över- och underprognos olika dyra, och då är symmetriska felmått som MAPE fel verktyg.
Vi har väldigt oregelbunden efterfrågan. Går det ändå?
Ja, men med andra metoder. Intermittent efterfrågan hanteras med exempelvis Crostons metod eller sannolikhetsmodeller per period. Intervallen blir breda, och breda intervall är i sig information värd att ha.
Kan modellen ta hänsyn till kampanjer vi planerar?
Ja. Planerade kampanjer läggs in som kända framtida variabler. Det förutsätter att historiska kampanjer finns loggade med datum och omfattning. Det är ofta den första sak vi behöver reda ut.
Mätdesign — vad ni borde fånga in
Är inte det här något vårt datateam redan gör?
De bygger ofta datalagret. Det är en annan sak. Mätdesign handlar om vilka händelser som ska existera över huvud taget, sett från den statistiska frågan snarare än från systemarkitekturen.
Vi vill bygga en modell nu, inte om ett år.
Då bygger vi på det som finns och jag säger vad det kostar i träffsäkerhet. Poängen är att börja samla rätt data parallellt, så att nästa version av modellen blir väsentligt bättre i stället för marginellt.
Hur lång tid tar det innan ny data ger nytta?
För beteendedata brukar sex till tolv månaders historik krävas innan den bär i en modell. Det är precis därför beslutet om vad som ska loggas är brådskande även när modellbygget inte är det.
Vad kostar en mätdesign?
Den görs oftast som en avgränsad insats på en till två veckor och hamnar i det nedre spannet. Den kan också ingå som första del av en förstudie.
Prisoptimering och priselasticitet
Vi säljer B2B med förhandlade priser. Går det ändå?
Ja, men frågan blir en annan: i stället för listpris handlar det om rabattnivåer och vilka avsteg som faktiskt behövdes för att vinna affären. Underlaget finns oftast i offerthistoriken.
Riskerar vi inte att skrämma bort kunder?
Därför görs förändringarna avgränsat och utvärderas innan de breddas. Modellen ger förväntad effekt med intervall. Då kan ni välja hur stor risk ni tar.
Hur skiljer sig detta från dynamisk prissättning?
Dynamisk prissättning ändrar priset löpande efter efterfrågan och lager. Det bygger på samma elasticitetsskattning, men kräver mer automatisering och tydligare spärrar. Det är ett rimligt steg två.
Attribution och marketing mix modeling
Vad är skillnaden mot attribution i vårt analysverktyg?
Klickbaserad attribution följer individer och kan bara se kanaler som lämnar spår. MMM arbetar på aggregerad nivå och ser även det som inte går att klicka på. De besvarar olika frågor och används bäst tillsammans.
Hur mycket historik krävs?
Helst två till tre års veckodata, med variation i investeringsnivåerna. Har budgeten legat stilla finns det lite för modellen att lära sig av, och då är geoexperiment en bättre startpunkt.
Vi är ett litet bolag. Är MMM inte till för storbolag?
Det var det historiskt, när modellerna byggdes för hand av byråer. Med bayesianska metoder och öppen kod fungerar det ned till betydligt mindre budgetar, förutsatt att det finns tillräcklig variation i historiken.
Kan modellen säga vad vi ska sluta med?
Den kan visa vilka kanaler vars bidrag inte går att skilja från noll. Det är ett ärligare besked än ett negativt bidrag. Att avsluta något är ett beslut som bör backas upp av ett experiment, inte bara av modellen.
Budstyrning och automatiserad budgivning
Varför inte bara använda plattformens egen automatik?
För många är det rätt val. Skälen att bygga eget är att ni har ett mål plattformen inte känner till — täckningsbidrag per produkt, livstidsvärde per segment — eller att ni vill kunna granska och styra logiken.
Vad menas med utforskning och varför kostar det?
Att medvetet lägga bud även där modellen tror att utfallet blir sämre, för att fortsätta få data därifrån. Det ger sämre resultat på kort sikt och hindrar att systemet låser fast sig vid slutsatser det inte längre kan ompröva.
Hur vet vi att systemet faktiskt gör nytta?
Genom att hålla en del av trafiken utanför det permanent. Det är den enda mätning som besvarar frågan direkt. Historiska jämförelser slutar vara giltiga så fort systemet börjat påverka sin egen data.
Har du gjort det här på riktigt?
Ja. Jag drev ett bolag som optimerade Google Ads-annonsering via deras API, med modeller i drift som satte bud löpande. Erfarenheterna finns beskrivna under insikter.
Rekommendationssystem
Räcker inte rekommendationerna som redan finns i vår e-handelsplattform?
För många gör de det, och då är det rätt svar. Skälen att bygga eget är att ni vill optimera mot marginal eller kundvärde i stället för klick, att ni har data plattformen inte ser, eller att ni behöver kunna granska och styra logiken.
Hur mycket data krävs?
Storleksordningen är hundratusentals interaktioner och några tiotusen kunder för att latenta modeller ska bära. Under det presterar enkla artikel-till-artikel-metoder ofta lika bra. Det är ett fullgott resultat och billigare att driva.
Vad händer med nya artiklar?
Utan historik har ren kollaborativ filtrering ingenting att gå på. Lösningen är en hybridmodell som också använder egenskaper som kategori, pris och märke, så att en ny artikel ärver beteendet hos liknande tills den byggt eget.
Hur vet vi att systemet gör nytta?
Genom en andel kunder som permanent inte får rekommendationer alls. Historiska jämförelser slutar vara giltiga så fort systemet påverkat vad kunderna ser, och klickfrekvens mäter uppmärksamhet snarare än merförsäljning.
Risk- och sannolikhetsmodellering
Är det här samma sak som Monte Carlo i Excel?
Släkt, men skillnaden ligger i var fördelningarna kommer ifrån. I ett kalkylark sätts de oftast för hand. Här skattas de från data, och osäkerheten i själva skattningen räknas med.
Våra beslutsfattare vill ha ett tal, inte en fördelning.
Då levereras ett tal, men det talet härleds från fördelningen och den kostnad ni faktiskt bär. Det är oftast inte väntevärdet, och skillnaden brukar vara den intressanta delen av samtalet.
Hur mycket data krävs?
Mindre än man tror, eftersom bayesianska metoder klarar tunn data genom att redovisa bred osäkerhet i stället för att bryta samman. Ett brett intervall är information, inte ett misslyckande.
Beslutsoptimering
Vad skiljer det här från maskininlärning?
Maskininlärning lär sig mönster ur historisk data och förutsäger. Optimering räknar fram det bästa beslutet givet kända regler och en målfunktion. De flesta verkliga problem behöver båda, i den ordningen.
Vi har redan en optimering i vårt planeringssystem.
Bra utgångsläge. Frågorna att ställa är om den optimerar mot rätt mål, om den tar hänsyn till osäkerheten i prognosen, och om någon kan förklara varför den föreslår det den gör.
Krävs en dyr licens?
Inte nödvändigtvis. Öppna lösare som HiGHS och OR-Tools räcker långt. Blir problemet för stort motiverar det en kommersiell licens, och då finns underlaget för att köpa den redan framtaget.
Hur vet vi att lösningen är den bästa?
En lösare returnerar både lösningen och hur långt från det teoretiskt bästa den ligger. Det är en garanti som är ovanlig i den här branschen och som gör beslutet lätt att försvara.
Experiment och kausalitet
Kan vi inte bara titta på om siffrorna gick upp?
Ni kan, men ni vet då inte om de gått upp ändå. Säsong, kampanjer, konkurrenters agerande och prisändringar rör sig samtidigt. Det är just den frågan ett experiment är byggt för att besvara.
Vi har för lite trafik för A/B-tester.
Då är styrkeberäkningen extra viktig, eftersom den visar vilka effekter som över huvud taget är möjliga att upptäcka. Ofta är svaret att testa färre och större förändringar i stället för många små.
Vad är fel med att stoppa testet när det blir signifikant?
Att titta upprepade gånger och stoppa vid första signifikanta utfallet ger falska positiva resultat i en betydande andel av fallen. Antingen bestäms längden i förväg, eller används en metod byggd för löpande avstämning.
Hur lång tid tar ett experiment?
Det avgörs av styrkeberäkningen, inte av tålamodet. För många bolag handlar det om två till sex veckor. Är svaret betydligt längre är det i sig information om hur stor effekt som är realistisk.
Modellgranskning och second opinion
Vårt team är duktigt. Varför skulle vi behöva det här?
Just därför brukar det vara värt det. Skickliga team blir betrodda, och då granskas deras antaganden mer sällan. Det handlar inte om kompetens utan om att ingen ser sin egen blinda fläck.
Blir det inte obekvämt internt?
Det beror på hur det ramas in. Jag granskar arbetet, inte personerna, och levererar fynden till teamet först. Ett externt öga som pekar på ett utvärderingsfel är dessutom lättare att ta emot än en kollega som gör det.
Vad behöver ni tillgång till?
Koden, utvärderingsunderlaget och helst datan. Går inte datan att dela kan en granskning ändå göras på kod och metod, men fynden blir färre.
Vad händer om ni inte hittar något?
Då får ni det skriftligt. Det har ett värde i sig nästa gång någon ifrågasätter modellen. Det har hänt, men det är inte det vanliga.
Modell i produktion
Behöver vi en MLOps-plattform?
Oftast inte. För en handfull modeller räcker schemaläggning, ett modellregister och genomtänkt loggning. Plattformar lönar sig när antalet modeller och team växer, inte innan.
Kan det köras i vår befintliga molnmiljö?
Ja, och det är alltid utgångspunkten. Jag bygger i det ni redan har, eftersom det ni redan kan förvalta är det som överlever.
Vem äger driften efteråt?
Ni, om ni vill. Överlämning ingår. Väljer ni att jag fortsätter förvalta görs det som ett löpande åtagande med avtalat timantal.
Vad kostar det att driva en modell?
Beräkningen är sällan den stora posten. För en typisk batchmodell handlar det om småbelopp per månad. Den verkliga kostnaden är förvaltningen, och den storleksordningen räknar vi fram i förstudien.
Anomalidetektering
Behöver vi märkt data med kända avvikelser?
Inte för att komma igång. Det finns metoder som lär sig det normala utan exempel på det onormala. Men med några hundra märkta fall blir systemet betydligt bättre, och de fallen brukar finnas i ärendehistoriken.
Hur undviker vi att drunkna i falsklarm?
Genom att kalibrera mot en larmbudget i stället för mot en statistisk tröskel, och genom att rangordna efter förväntad kostnad. Ett stort men billigt avvikande värde ska hamna under ett litet men dyrt.
Är det inte samma sak som en tröskel i vårt BI-verktyg?
Det är samma idé. Skillnaden är att en fast tröskel inte tar hänsyn till säsong, enhetens eget mönster eller att spridningen växer med nivån. Det är därför fasta trösklar brukar sluta i att larmen stängs av.
Kan systemet förklara varför något flaggades?
Det bör det, annars granskas larmen inte. Att redovisa vilka variabler som avvek och hur mycket är en del av leveransen, inte ett tillägg.
LLM-integration
Skickas våra data till OpenAI eller Anthropic?
Bara om ni vill det. Alternativen är leverantörer med databehandling inom EU, eller modeller som körs helt i er egen miljö. Valet påverkar kostnad och kvalitet, och vi tar det som ett uttalat beslut tidigt.
Hur vet vi att modellen inte hittar på?
Man eliminerar det inte, man mäter det. Med en utvärderingsuppsättning går andelen felaktiga svar att följa över tid, och genom att kräva källhänvisning i svaret blir felen synliga för användaren.
Vad kostar det att driva?
Det beror på volym och modellval, men storleksordningen går att räkna fram redan i förstudien. Om driftkostnaden inte bär sin nytta är det ett resultat värt att få innan bygget, inte efter.
Omfattas det här av EU:s AI-förordning?
Ofta i någon mån. Vilken del beror på användningsområdet. Kundtjänst och interna kunskapssystem hamnar sällan i högriskkategorin, men transparens- och dokumentationskrav gäller brett. Det reds ut i förstudien.
AI-förstudie
Kan ni inte bara bygga direkt?
Ibland, när frågan är väl avgränsad och datan känd. Men fast pris kräver känd omfattning, och förstudien är det som gör den känd. Utan den blir offerten ett spann ingen är nöjd med.
Vad händer om svaret blir nej?
Då har ni sparat den summa bygget hade kostat. Det är ett fullgott utfall av en förstudie och inträffar oftare än branschen gärna medger.
Kan vi ta förstudien till någon annan för genomförandet?
Ja. Underlaget är ert och skrivs för att kunna användas som upphandlingsunderlag. Det är en av anledningarna till att det är värt något oavsett vem som bygger.
Finns det något mindre att börja med?
Ja, en halvdags orientering där vi går igenom beslutet, datan och den realistiska nyttan. Ni får en skriftlig sammanfattning och kan avgöra om en förstudie är motiverad.