Forestil dig, at du vil måle ti års afkast for investeringsfonde. Du tager listen over de fonde, der findes i dag, og finder deres historiske resultater.
Resultatet ser overbevisende ud. Men flere af de svageste fonde blev lukket eller fusioneret undervejs og er derfor ikke med på listen. Du har ikke målt alle de muligheder, en investor kunne vælge imellem for ti år siden. Du har kun målt de overlevende.
Det er survivorship bias.
Fejlen opstår, når analysen betinges af, at et selskab, en fond, en strategi eller en person overlevede en udvælgelsesproces, mens de forsvundne observationer bliver overset.
Hvorfor fejlen er så overbevisende
De tilbageværende data er virkelige. De er bare ufuldstændige.
En succesfuld fond har faktisk leveret sit afkast. En investor med 20 års stærke resultater eksisterer faktisk. En aktie, der er steget hundrede gange, er faktisk en vinder.
Problemet opstår, når vi bruger de synlige vindere til at vurdere sandsynligheden for at vinde på forhånd.
Det svarer til at undersøge iværksætteri ved kun at interviewe børsnoterede grundlæggere. Du kan lære noget om de virksomheder, der lykkedes, men ikke hvor ofte samme metode endte i fiasko.
Fondsdata: det klassiske eksempel
Elton, Gruber og Blake fulgte alle amerikanske fonde, der eksisterede ved udgangen af 1976, og tog højde for fonde, som senere blev fusioneret. De viste, at fondsafvikling kan skabe survivorship bias, fordi forsvundne fonde typisk havde svagere resultater før deres ophør.
Brown, Goetzmann, Ibbotson og Ross viste desuden, at overlevelseskrav kan skabe et falsk indtryk af vedvarende dygtighed i performanceundersøgelser.
Det praktiske spørgsmål til enhver fondsundersøgelse er derfor:
Indeholder datasættet også de fonde, der lukkede eller blev fusioneret i perioden?
Hvis svaret er nej, kan gennemsnittet være for højt, og vurderingen af vedvarende merafkast kan være misvisende.
Aktieindeks: en vigtig misforståelse
Survivorship bias bliver ofte forklaret sådan: Et indeks stiger, fordi det løbende fjerner tabere og indsætter vindere.
Det er for upræcist.
Et korrekt beregnet historisk indeksafkast følger de faktiske medlemmer og vægte på hvert tidspunkt. Hvis et selskab falder kraftigt, før det bliver fjernet, indgår faldet i indeksafkastet. Når selskabet erstattes, fortsætter indekset efter de offentliggjorte regler. Selve udskiftningen gør derfor ikke automatisk det officielle historiske indeksafkast kunstigt højt.
Fejlen opstår derimod, hvis du tager de selskaber, der er i indekset i dag, og backtester dem bagud, som om de også var medlemmer for ti eller tyve år siden. Så bruger du fremtidig viden til at vælge fortidens aktier.
Der er også risiko for fejl, hvis et aktiedatasæt mangler:
- konkursramte selskaber
- afnoterede aktier
- det sidste negative afkast før afnotering
- fusioner og kontantvederlag
- historiske indeksmedlemmer og korrekte vægte.
En backtest skal bygge på det investerbare univers, som faktisk var kendt på hver dato.
Strategier kan overleve på papir
Survivorship bias handler ikke kun om værdipapirer. Den rammer også strategier.
Forestil dig, at tusind personer hver afprøver deres egen handelsregel. Efter fem år vil nogle regler have klaret sig usædvanligt godt alene på grund af tilfældighed. Det er sandsynligvis disse resultater, der bliver delt, publiceret og videreudviklet. De mange mislykkede regler forsvinder.
Når du ser den vindende regel uden at kende alle de afprøvede alternativer, kan held ligne dygtighed.
Problemet bliver større, hvis strategien efterfølgende finjusteres til de samme historiske data. Så blandes survivorship bias med look-ahead bias og overtilpasning.
En troværdig backtest bør derfor:
- bruge data uden overlevelsesfilter
- anvende information, der var tilgængelig på beslutningsdatoen
- medtage realistiske handelsomkostninger, skat og likviditet
- reservere data til en test, som ikke blev brugt til at udvikle strategien
- vise følsomhed over for små ændringer i periode og parametre.
Vinderhistorier er ikke sandsynligheder
Finansielle medier og sociale platforme viser naturligt de mest interessante udfald.
Investoren, der mangedoblede sin formue på én aktie, er en historie. De mange investorer, der tog en lignende koncentreret risiko og tabte, er sjældent samlet i samme artikel.
Det betyder ikke, at vinderen nødvendigvis var heldig. Dygtighed, analyse og disciplin kan være reelle. Men resultatet alene fortæller ikke, hvor meget der skyldtes metode, risiko eller tilfældighed.
Spørg derfor:
- Hvor mange begyndte med samme strategi?
- Hvor mange stoppede eller forsvandt?
- Hvor stor risiko tog vinderen undervejs?
- Var resultatet robust på tværs af perioder?
- Kunne metoden være fulgt i realtid?
Buffett er ikke et bevis for enhver koncentreret portefølje
En berømt investor kan være et værdifuldt studie i analyse, kapitalallokering og temperament. Men én usædvanlig karriere beviser ikke, at enhver investor med en koncentreret portefølje har samme sandsynlighed for succes.
Den rigtige lære er ikke at afvise vinderen. Det er at skelne mellem:
- en brugbar proces
- et observeret resultat
- sandsynligheden for at gentage resultatet.
Det er tre forskellige ting.
Sådan beskytter du din analyse
Find startpopulationen
Begynd med alle de fonde, aktier eller strategier, der kunne vælges ved periodens start. Lad ikke slutdatoen bestemme udvalget.
Følg også dem, der forsvandt
En fusion, konkurs eller lukning er ikke manglende data, der bare kan slettes. Det er en del af udfaldet.
Kræv en sammenligningsgruppe
En håndfuld succesfulde cases siger mere, hvis du kan sammenligne dem med tilsvarende cases, der ikke lykkedes.
Se på risiko, ikke kun afkast
En strategi kan overleve med højt afkast, fordi den tog en risiko, der sjældent, men voldsomt, kunne have udslettet den. Et enkelt slutafkast viser ikke hele forløbet.
Vær skeptisk over for perfekte historiske resultater
Jo pænere en backtest ser ud, desto vigtigere er det at spørge, om udvalget bygger på viden fra fremtiden.
Konklusion
Survivorship bias får ikke vinderne til at være falske. Den gør vores billede af sandsynlighederne ufuldstændigt.
Den centrale kontrol er enkel: Hvem eller hvad mangler fra datasættet, fordi det ikke nåede frem til slutdatoen?
Når du analyserer fonde, aktier, handelsstrategier eller investorer, skal fiaskoerne behandles som data. Først da kan du vurdere, om et flot resultat skyldes en robust metode, større risiko, tilfældighed eller en kombination.
Kilder
- Elton, Gruber og Blake: Survivorship Bias and Mutual Fund Performance
- Brown, Goetzmann, Ibbotson og Ross: Survivorship Bias in Performance Studies
- Carpenter og Lynch: Survivorship Bias and Attrition Effects in Measures of Performance Persistence
Artiklen er generel information og ikke personlig investeringsrådgivning.