Case · Machine learning
72 % af de værdifulde sager med en fjerdedel af budgettet.
En kunde betaler for hver post, den sender gennem et eksternt behandlingstrin, og kun en lille del fører til noget af værdi. Hvilke poster der sendes, er det store greb, og den gamle rækkefølge viste sig ikke at være bedre end tilfældigheder. Her er modellen, der blev bygget til at afløse den, hvordan den blev testet, og hvorfor den ikke bestemmer noget endnu.
72 %
af de senere værdifulde sager, hvis kun den bedste fjerdedel af posterne var blevet behandlet. Den gamle rækkefølge fangede 25 %.
88 %
med halvdelen af budgettet, hvor den gamle rækkefølge fangede 51 %.
0,1 %
af de automatiske resultater nåede det trin, hvor de kan tjene penge, i en målt uge. At vælge rigtigt er det store greb.
Problemet
Kunden sender poster gennem et betalt, eksternt behandlingstrin. Det meste af det, der kommer tilbage, bliver frasorteret eller afvist: i en målt uge nåede omkring 0,1 % af de automatiske resultater frem til det punkt, hvor de kan tjene penge. Med et fast budget er det mere værd at vælge, hvilke poster der sendes, end at gøre hvert trin billigere.
Posterne blev udvalgt i en rækkefølge, der byggede på værdier, som ikke var opdateret i måneder. Testet mod det, der faktisk skete bagefter, var den rækkefølge ikke bedre end tilfældigheder: den bedste fjerdedel ville have fanget 24,6 % af de værdifulde sager, og tilfældig udvælgelse fangede 25,6 %.
Sådan blev det testet
På historiske data, så hver version kunne sammenlignes på de samme poster, før noget blev ændret i drift.
- 01
Frys tiden
Brug kun det, der var kendt før 1. juli 2026.
- 02
Rangér
Giv hver post, der blev behandlet i juli og august, en score ud fra den viden, bedste først.
- 03
Skær
Hvis kun de bedste 10 %, 25 %, 50 % eller 75 % var blevet behandlet, hvor mange af de senere værdifulde sager var så blevet fanget?
- 04
Sammenlign
Den gamle rækkefølge, tilfældig udvælgelse og hver model, på de samme poster.
Hvad der blev prøvet
Hver version på samme test: andelen af værdifulde sager fanget med en fjerdedel af budgettet.
Den gamle rækkefølge: 25 %
Værdier frosset måneder tidligere. Ikke bedre end tilfældig udvælgelse.
Kundens gennemsnit: 37 %
Hver post scoret efter, hvor godt kundens poster klarer sig i gennemsnit.
Postens egen rate: 54 %
Hvor ofte netop denne post har ført til noget før, trukket mod kundens gennemsnit, når den har lidt historik. Endnu ikke tunet.
Den endelige blanding: 72 %
To rater kombineret: det sjældne værdifulde udfald med lang hukommelse og alle udfald med en kortere, vægtet efter hvor ofte kundens resultater bliver værdifulde. 88 % med halvdelen af budgettet.
Hjalp ikke: tid siden sidste behandling
Det lignede et stærkt signal, men den gamle rækkefølge havde bestemt, hvornår poster blev behandlet, så det målte mest den gamle rækkefølge.
Før og efter
Testet på historiske data, ikke målt i drift.
72 % fra 25 %
En rangeringsmodel fandt 72 % af de værdifulde sager med en fjerdedel af behandlingsbudgettet. Den gamle udvælgelse fandt 25 %.
Testet på to måneders historiske data
Hvad det ikke viser endnu
Det er en test på historiske data, og den endelige blanding blev tunet mod den samme test. Data rummer også kun de poster, den gamle rækkefølge valgte at behandle, og nogle udfald var stadig på vej ind, da det blev målt. Et tjek på en senere, separat periode er i gang.
Scorerne er beregnet hver dag siden 17. september 2026, men de bestemmer endnu ikke, hvad der bliver behandlet. Det kræver en ny tjeneste, der planlægger hver dags arbejde, og den er under opbygning. Indtil den kører, er der intet tal fra drift, og det vil denne side sige.
Hagen: det meste af budgettet var allerede lovet væk
En simulering over tre uger med det daværende budget viste det. Faste forpligtelser over for enkelte kunder tog omkring 95 % af behandlingen, så modellen bestemte kun resten. Dér skrumpede gevinsten til omkring 16 % flere forventede værdifulde sager pr. post, ikke de næsten tre gange, testen antyder.
Det gjorde et modelspørgsmål til et forretningsspørgsmål: hvor meget af budgettet er bundet i forpligtelser, og hvor meget går derhen, hvor det tjener mest. Budgettet er siden hævet, hvilket giver modellen mere plads. En model er kun så meget værd som den andel af beslutningerne, den får lov at træffe.
Modeller, der gør sig fortjent til pladsen
Sådan arbejder jeg med machine learning på en dataplatform: først en baseline, så en test mod det, der faktisk skete, forbeholdene skrevet ned og et klart svar på, hvor meget af beslutningen modellen reelt kommer til at træffe. Som regel som del af et længere forløb i jeres team.
Fortæl mig, hvad I har brug for.
Tre linjer er nok. Jeg svarer inden for én arbejdsdag med, hvordan jeg ville gribe det an, og hvad det kræver.
- Gratis og uforpligtende
- Et klart svar på, om jeg kan hjælpe
- En pris, før arbejdet går i gang