Tjänster / Modellgranskning
Modellgranskning och second opinion
En modellgranskning är en oberoende genomgång av en modell ni redan har: hur den utvärderats, om utvärderingen håller, vilka risker som finns i drift och om den faktiskt stödjer det beslut den byggdes för. Levereras som en skriftlig bedömning med prioriterade åtgärder, normalt på en till två veckor.
Vanliga utgångslägen
- Modellen såg utmärkt ut i utvärderingen och presterar sämre i drift.
- Ingen internt kan granska den utan att det uppfattas som kritik av en kollega.
- Den som byggde modellen har slutat, och ingen vet längre vad den antar.
Så gör jag
När en modell presterar sämre i drift än i utvärdering är förklaringen nästan alltid att utvärderingen mätte fel sak.
Testdatan innehöll information som inte finns tillgänglig vid beslutstillfället. Uppdelningen gjordes slumpmässigt på data som har en tidsordning. Felmåttet behandlade två fel som lika dyra fastän de inte är det. Sådant är svårt att se inifrån ett projekt man själv byggt, och trivialt att se utifrån.
Granskning av utvärderingen
Den vanligaste bristen är inte modellen utan hur den mättes. Uppdelning som läcker information mellan träning och test, felmått som inte speglar beslutet, eller ett testfönster som råkade vara gynnsamt.
Jakt på dataläckage
Variabler som indirekt innehåller svaret ger lysande resultat i utvärdering och kollaps i drift. De är sällan uppenbara och nästan alltid förklaringen när skillnaden är stor.
Baslinjejämförelse
Hur mycket bättre är modellen än en enkel regel? Om skillnaden är liten är driftkostnaden och den tekniska skulden sällan motiverad, och det är ett besked värt att få.
Driftrisk
Datadrift, beroenden som inte övervakas, omträning som ingen äger, och vad som händer om en indatakälla tystnar. Frågorna är tråkiga och det är de som avgör om modellen finns kvar om två år.
Vad du får
- Skriftlig bedömning med fynd rangordnade efter påverkan
- Konkreta åtgärder, uppdelade på vad som brådskar och vad som kan vänta
- Oberoende omkörning av utvärderingen där underlaget medger det
- Genomgång med teamet, formulerad som granskning av arbetet och inte av personerna
Modellgranskning · 1–2 veckor
55 000 – 95 000 kr
Spannet styrs av antalet modeller som ska granskas och om utvärderingen ska köras om oberoende.
Vanliga frågor
Vårt team är duktigt. Varför skulle vi behöva det här?
Just därför brukar det vara värt det. Skickliga team blir betrodda, och då granskas deras antaganden mer sällan. Det handlar inte om kompetens utan om att ingen ser sin egen blinda fläck.
Blir det inte obekvämt internt?
Det beror på hur det ramas in. Jag granskar arbetet, inte personerna, och levererar fynden till teamet först. Ett externt öga som pekar på ett utvärderingsfel är dessutom lättare att ta emot än en kollega som gör det.
Vad behöver ni tillgång till?
Koden, utvärderingsunderlaget och helst datan. Går inte datan att dela kan en granskning ändå göras på kod och metod, men fynden blir färre.
Vad händer om ni inte hittar något?
Då får ni det skriftligt. Det har ett värde i sig nästa gång någon ifrågasätter modellen. Det har hänt, men det är inte det vanliga.