Vanskelig: Oppdatere sannsyn­ligheter

Snarveien: Dette er ikke lett, men du får best beslutningsgrunnlag om du klarer å se ny informasjon i lys av hva du trodde før.

Detaljene: La oss si at du har tatt en blodprøve for å sjekke om du har en sjelden sykdom (1 ut av 10 000 har den).

Blodprøven er av god kvalitet – 99 % treffsikkerhet.

Prøvesvaret er positivt (ikke bra).

Hva er sannsynligheten for at du faktisk er syk?

99 %?

Nei. Det er her intuisjonen svikter. Siden sykdommen rammer så få, er sannsynligheten for at du faktisk er syk langt lavere:

1 %.

Det er ikke noe galt med blodprøven. Den fanger opp alle sykdomstilfellene og har lav feilmargin.

Problemet er at den syke får selskap av 100 friske personer som også har fått et positivt prøveresultat (et falskt positivt svar).

Så om vi ser på alle som har fått positivt svar på prøven, er det kun 1 av 101 (ca. 1 %) som faktisk er syk.

Kanskje er det derfor leger er tilbakeholdne med å ta prøver av mennesker uten andre symptomer? Hvis du ellers føler deg frisk, er grunnsannsynligheten for å ha en spesifikk sykdom så lav at prøvesvarene er verdiløse.

Dette er Bayesiansk sannsynlighet.

Du starter med å vurdere sannsynligheten for at noe vil skje, og så justerer du den sannsynligheten etterhvert som det kommer ny informasjon – som med blodprøven i eksempelet.

Du har en bit med ny informasjon, som blodprøven, som du kombinerer med den underliggende sannsynligheten.

De russiske spionene – når ny informasjon slår ut for sterkt

Vi mennesker er notorisk dårlige til å finne balansen mellom ny informasjon og grunnsannsynligheten.¹ Jeg har selv gått i fella på en øvelse med Forsvaret.

Noen dager inn i øvelsen i Trøndelag kom en patrulje marinejegere tilbake til etterretnings-cella med bilder av noen mistenkelige personer som hadde holdt øye med dem ved et fergeleie. Vi visste at russisk etterretning pleide å dukke opp på øvelser, så vi hadde drillet våre soldater i å være på utkikk etter folk og kjøretøy som oppførte seg annerledes.

Og ganske riktig, bildene soldatene hadde tatt viste tre menn i øst-europeiske klær som røykte rullings og kjørte en sliten van med unormalt mange antenner på taket.

Vi og PST var enige om at dette måtte meldes inn.

Men før vi kom så langt, tok PSTs lokale liaison en titt på bildene.

«Dette er ikke russere,» utbrøt han. «Dette er jo lokale menn fra Fosen.»

Doh! Vi hadde sett oss blinde på den nye informasjonen (klær, kjøretøy og røykevaner) og glemt å ta høyde for den underliggende sannsynligheten: Det var langt mer sannsynlig å treffe en trønder i Trøndelag enn en russer.

Ok, så var det kanskje et snev av bekreftelsesfeller og storbyarroganse inne i bildet her og. Men det viktigste er at når grunnsannsynligheten er lav, må signalet være veldig sterkt for at den totale sannsynligheten skal bli høy.

Vi gikk altså i én av to feller folk ofte går i når de skal vekte ny informasjon: Vi tilla det nye signalet for mye vekt.

Den samme feilen skjer i arbeidslivet. Vi ser noe uventet – og glemmer å spørre hvor sannsynlig det var i utgangspunktet.

Si at ting blir borte fra kontoret, samtidig som en ansatt oppfører seg annerledes. Før vi hopper til konklusjoner, må vi ta hensyn til at hennes grunnsannsynlighet for å stjele er lav. Hun har vært en ærlig og trofast ansatt i tretti år. Den rare oppførselen øker sannsynligheten litt for at hun har begynt å stjele, men det er opp fra et lavt nivå.

Når ny informasjon ikke slår sterkt nok ut

Den andre feilen er å anta at «nothing ever happens».

Etterretningshistorien er full av farer som ble oversett, på tross av relevant informasjon, fordi det nye signalet ble ignorert. (Se for eksempel opptakten til Yom Kippur-krigen.)

Også i næringslivet svikter det. Bedrifter går konkurs fordi de ikke har reagert på signaler fra markedet, ansatte eller leverandører.

Noen ganger er feilen at vi ikke vekter den nye informasjonen tungt nok, som i illustrasjonen over. Ny informasjon fører ikke til et stort nok hopp i vår vurdering av sannsynligheten.

Andre ganger er det fordi vi ikke ser på signalene i sammenhengen. Men det kan jeg love at granskningskommisjonen kommer til å gjøre. Etterpåklokskapen er den beste klokskapen.

Det er naturlig å spørre seg hvordan Israel overså faren for krig i 1973 når mengder av etterretninger varslet om krigsforberedelser. Men så er det også uendelig mye lettere å koble prikkene når du ser tilbake enn når du ser fremover.

Ofte er dagens vurdering av sannsynligheten så sterk at det skal mye til å for å endre den. Et isolert signal blir som en magnet som trekker opp sannsynlighetslinjen vår litt, men så faller den tilbake i sitt vante spor. Det er først når du kan se flere signal sammen at du klarer å bryte ut av tankemønsteret.

I etterretningen brukte vi forhåndsdefinerte triggerlister for å hjelpe oss å vurdere ny informasjon.

For eksempel, dersom en person i søkelyset vårt hadde satellittelefon, våpen og kontakt med andre kjente mistenkte, ble han regnet som overveiende sannsynlig å være medlem av en ugrei organisasjon. Da justerte vi opp den ellers lave sannsynligheten for å være terrorist.

Signal A + B + C = nok sannsynlighet til å endre oppfatning.

Mange bedrifter har ikke noe forhold til når det er slutt på business as usual. De har ingen triggerliste, og kan enten gå i fellen å tenke at «ingenting skjer noensinne», eller overreagere på små endringer hos leverandører eller kunder. Da kan det være lurt å ha en forhåndsdefinert liste som for eksempel sier at «hvis de tre største kundene bestiller 20 % mindre, skal det flagges.»

Vurder ny informasjon mer edruelig

“I had enough experience to know that things are never quite as bad–or as good–as first reports make them […]”

– Feltmarskalk William Slim i Defeat Into Victory (1956)

På samme måte som de første rapportene sjelden er riktige, er heller ikke ny informasjon alene nok til å gi et fullgodt bilde av virkeligheten.

Neste gang du ser noe uventet, spør deg selv:

1. Hva trodde jeg sannsynligheten var før det siste signalet?
2. Hva skal til for at jeg endrer oppfatning? Har vi en triggerliste eller en terskel vi må kommme over?
3. Hvor mye påvirker det nye signalet den vurderingen?
4. Er det andre signaler jeg bør se i sammenheng?

Les mer om 🏷️Møter

Kilder og inspirasjon

• Denne artikkelen handler om Bayesiansk regning. Et annet sted det dukker opp er når små utvalg blir overtolket. Det kan du justere for ved å anta at grunnsannsynligheten er gjennomsnittlig. Les mer om det i artikkelen om De Små Talls Lov
  
• Noe av tanken med bayesiansk sannsynlighet er at all ny informasjon legger til i en felles virkelighetspott.
• Se også “Analysis of competing hypothesis” (kommer)