Om åldersbedömningar och att lära sig av misstagen

Denna text utgör en återgivning av en artikel i Qvintensen nr 1, 2019.

Vi vill dela med oss av våra gemensamma erfarenheter och funderingar under det senaste året, då vi har jobbat med granskning av myndigheters missbruk av statistik. Vår förhoppning är att vi därmed kan ge goda råd för hur myndigheter ska undvika liknande misstag, hur vi som forskare bör agera och hur vi bör utveckla utbildningen för studenter som läser statistik.

Vi har granskat Socialstyrelsens rapport Metoder för radiologisk åldersbedömning – En systematisk översikt (Socialstyrelsen 2016), och vi med flera har kritiserat myndigheten för att inte följa god vetenskaplig sed[1].

Socialstyrelsens rapport har fått konsekvenser för tusentals ungdomar i Sverige. Man rekommenderar användningen av magnetkamera-analys av knä som metod för att bedöma om asylsökande är över 18 år eller inte. Metoden har sedan tillämpats av Rättsmedicinalverket (RMV) som beslutsstöd åt Migrationsverket. Ett barn som är asylsökande har långtgående rättigheter jämfört med vuxna och åldersbedömningen kan därför ha livsavgörande konsekvenser (Azeri 2018).

Innan vi kommer in på vår granskning av Socialstyrelsen och RMV är det rimligt att fundera över vilket ansvar myndigheter har enligt svensk lag och förordning. I regeringsproposition[2] från 2009 framgår det hur myndigheter styrs av förvaltningspolitiska mål: ”Det övergripande målet för förvaltningspolitiken ska vara en innovativ och samverkande statsförvaltning som är rättssäker och effektiv, har en väl utvecklad kvalitet, service och tillgänglighet och därigenom bidrar till Sveriges utveckling och ett effektivt EU-arbete”. Rättssäkerhet innebär att vi ska kunna lita på myndigheters beslut, och välfungerande myndigheter bidrar till att stärka förtroendet hos medborgarna. Samtidigt ska myndigheter uppfylla regeringens mål och göra det så kostnadseffektivt och med så hög kvalitet som möjligt. I det följande framgår det att RMV valde en dyr metod som är vetenskapligt dåligt underbyggd. Detta gjordes utifrån Socialstyrelsens inrådan.

Magnetröntgen av knä har använts på över 10 000 ensamkommande ungdomar för åldersbedömning. Leder i kroppen utvecklas med ålder och när lederna är fullt utvecklade kan benen i kroppen inte längre växa. Leden är då mogen och har nått sitt slutstadium i utvecklingen. För de flesta är knät fullt utvecklat vid 16 till 25 års ålder, och i Socialstyrelsens rapport föreslås att personer med moget knä ska klassificeras som vuxna och drar bl.a. följande slutsats vad gäller analysen av knä:

”18-årsgränsen bedöms med en risk att missta ett barn för en vuxen på 3% för pojkar.”(sid 16)

Utifrån detta påstående skulle man kunna tro att metoden är träffsäker för att göra åldersbedömningar. Denna slutsats drog RMV. De rekommenderade användningen av metoden, och då den ansågs träffsäker baserade Migrationsverket sina beslut i huvudsak på RMV:s analyser. Även Barnläkarföreningen var nöjd med detta metodval då de uppfattade den nya metoden som mycket säkrare jämfört med tidigare använda metoder.

Vi har funnit både misstag och rena felaktigheter i det statistiska underlaget som använts i Socialstyrelsens rapport, vilket får konsekvenser på hur RMVs analyser ska tolkas. Vi är medvetna om att statistik och sannolikhet kan vara svårt. En viktig fråga är hur liknande misstag kan undvikas i framtiden. Grundläggande är att det måste finnas resurser och kompetens för att räkna och tolka resultat korrekt.

För att åskådliggöra de misstag som Socialstyrelsen begick har vi valt att exemplifiera med ovanstående citat ur rapporten. Det är dessutom en av de mest citerade slutsatserna ur rapporten. Tolkningen är att ett barn som testas med metoden löper en risk på 3% att bedömas som vuxen. Nu är det tyvärr inte detta som Socialstyrelsen har beräknat i sin analys. De har beräknat någonting annat. Även ett stort antal andra resultat i deras rapport är felräknade och missvisande.

Vilka fel begicks?

Socialstyrelsen har beräknat sannolikheten för att en person med moget knä faktiskt är ett barn. Det är inte samma som risken att missta ett barn för att vara en vuxen. Alltså, sannolikheten för en händelse A givet B är inte samma sak som sannolikheten för en händelse B givet A. Matematiskt skrivs detta P(A|B ≠ P(B|A). Vi är medvetna om att det kan vara svårt att inse skillnaden mellan dessa två ”betingade sannolikheter”, trots att det är två helt olika saker. Det är till och med ett så pass vanligt fel att det finns ett specifikt begrepp för detta: ”Confusion of the inverse”. Socialstyrelsen har räknat ut den ena sannolikheten P(Barn | Moget knä) men skriver i sin tolkning att det är den andra, P(Moget knä | Barn). För en lekman är det onekligen lätt att blanda ihop de två sannolikheterna, och det kan vara en utmaning att förklara skillnaden. Därför har vi lagt ut ett antal förklarande filmer på www.snackastatistik.se.

Socialstyrelsen har alltså blandat ihop dessa två sannolikheter. Men även om Socialstyrelsen hade undvikit detta misstag, så är siffrorna de presenterar inte jämförbara. De är framräknade utifrån hur stor åldersspridning var bland studiedeltagarna med mogna knäleder. Men denna åldersspridning påverkas naturligtvis av åldrarna på studiedeltagarna, som i originalstudien var 10 till 30 år. Det är klart att om man testar många 30-åringar så blir sannolikheten att klassas som barn låg. Siffrorna som Socialstyrelsen använder är alltså styrda av inklusionskriterierna (valet av vilka som tas med) i studien, inte baserat på åldrarna på de som testas i verkligheten. En viktig insikt är alltså att risken att fatta fel beslut beror på ålderssammansättningen av de personer som testas. Hur många rätt respektive fel det blir beror på vilken grupp av människor som testet appliceras på. Skulle vi bara testa 17- och 18-åringar så skulle vi göra fler felbeslut jämfört om vi testar fler i yngre och äldre åldrar. Eventuella uttalande om risker för felaktiga beslut måste baseras på antaganden om åldersfördelningen bland de personer som faktiskt testas. Så i sin jämförelse mellan olika metoder (knä, tand, handled) blandas olika betingningar samt olika åldersfördelningar, vilket gör jämförelsen felaktig och missvisande.

Vi har hittills talat om logiska fel och fel beräkningar. Nu till ett annat metodproblem. Socialstyrelsen skriver i sin rapport om sannolikheten att missta ett barn för en vuxen. Men barn har olika sannolikheter att klassificeras som vuxna beroende på hur gamla de är. En 10-åring har minimal risk att bli felklassificerad medan en 17-åring har betydligt större risk. Att generellt tala om en risk för gruppen barn är meningslöst. En stor del av debatten om åldersbedömningar har alltså förts på felaktiga premisser. Om vi anpassar metoden så att den blir rättssäker för ”gruppen barn” så kan den mycket väl vara icke-rättssäker för en 17-åring. Metoden måste vara rättssäker för 17-åringar då dessa löper störst risk för felklassificering. Sedan måste vi också beakta risken att en 18-åring klassas som barn. Dessa risker måste vägas emot varandra vid framtagande av lämplig metod.

Vi är inte ensamma om att kritisera metoderna för åldersbedömningar. Det har under det senaste året förts en livlig debatt om RMV:s metod för att kombinera resultat från olika tester.

Enligt EU-direktiv 2013/32/EU, artikel 25.5 skall beslutsfattaren, om det finns tvivel om den asylsökandes ålder, utgå från att hen är under 18 år. RMV har i sin metod underlag från undersökning av både tand och knä. Resultaten från dessa två test sammanfattas till ett omdöme som Migrationsverket har som underlag till sitt beslut. Om båda testen visar att personen är över 18 år så används följande formulering. “Resultatet av den genomförda undersökningen talar för att den undersökte är 18 år eller äldre.” Men även om bara ett av testen indikerar att personen är över 18 år så används exakt samma formulering. På RMV:s hemsida anges att en person med bara en mogen kroppsdel (knä eller tand) har en mindre sannolikhet att vara över 18 år jämfört med en person med två mogna kroppsdelar. Men detta framgår alltså inte i den sannolikhetsskala som de använder. Att inte på något sätt gradera skillnaden mellan de två olika resultaten är missvisande. Risken för felklassificering av barn ökar; det räcker ju med att en av metoderna visar fel för att slutsatsen skall bli fel. RMV måste göra mer nyanserade utlåtanden.

Socialstyrelsens och RMV:s statistiska beräkningar och resonemang uppvisar stora brister. Dessa myndigheter är dock inte ensamma om att brottas med hur man skall hantera kvantitativ information. Förvirringen i den medicinska debatten om åldersbedömningar bottnar i genuina svårigheter att tolka siffror på rätt sätt. Nobelpristagaren Daniel Kahneman med flera har i sin forskning visat på människans begränsade förmåga att hantera sannolikheter. Men då statistik och statistiska resonemang är centrala i många viktiga beslut i dagens samhälle så måste vi arbeta för att höja kvaliteten och hitta rutiner för adekvat kvalitetssäkring.

Hur skulle Socialstyrelsen ha kunnat undvika misstaget?

Misstagen i Socialstyrelsen rapport från 2016 hade troligen undvikits om följande grundläggande steg hade vidtagits:

• En tydlig metodbeskrivning i rapporten. Om tid hade ägnats åt att skriva en metodbeskrivning så hade rapportförfattarna troligen upptäckt misstaget själva innan den publicerades. Om de inte hade upptäckt felet så hade utomstående granskare upptäckt det på ett tidigt stadium.
• Att resultaten presenteras i heltal i stället för som sannolikheter. Gärna som enkla figurer där resultatet framgår enkelt.
• Ordentlig extern granskning av rapporten. Det finns två typer av rapporter som myndigheter tar fram: sådana som de själva skriver och sådana som de beställer av forskare vid högskolor eller forskningsinstitut. Socialstyrelsen rapport från 2016 var av den första typen och dessa är i särskilt behov av extern granskning. Förslagsvis bör de seminariebehandlas vid en extern institution. Framför allt måste den läsas av någon med kritiska ögon, med uppdraget att lyfta fram alla eventuella svagheter med rapporten.

Det här är steg som myndigheter i allmänhet bör beakta då de tar på sig projekt som kan komma att få stora konsekvenser. Det är viktigt att dessa rutiner finns då beslut mer och mer förväntas vara statistiskt underbyggda, samtidigt som det finns en tendens att beslut ska tas allt snabbare. Dessutom finns det flera fall där myndigheter skyller på att de var tvungna att ta snabba beslut, vilket i deras ögon berättigar dåliga underlag (t ex Nya Karolinska, Transportstyrelsen). Samtidigt blir det allt viktigare att vi kan lita på myndigheters underlag, då det finns en trend om att hänvisa till ”alternativa fakta”, inte minst efter att Donald Trump tillträdde som USAs president.

Förslag på riktlinjer för externt beställda rapporter

Våren 2018 publicerade Socialstyrelsen en rapport utifrån ett uppdrag att fördjupa kunskapen om magnetkameraundersökning (Socialstyrelsen 2018). Denna rapport är av den andra typen, dvs en rapport skriven av externa forskare. Här har vi erfarit att det är viktigt att beställaren inte styr arbetet, att den granskas av externa bedömare (helst utländska) och att beställaren inte heller styr hur resultaten framförs.

En möjlighet som beställaren i princip har är att inte publicera rapporten om resultaten är kontroversiella. Denna möjlighet måste vara tydligt utesluten när arbetet påbörjas och därför bör den som godkänner rapporten också vara en extern person som baserar sitt beslut på de externa bedömarnas utlåtanden.

Hur agerade Socialstyrelsen och RMV på vår kritik?

Under våren 2018 fick vi tillfälle att träffa ansvariga personer på Socialstyrelsen för att diskutera de felaktigheter vi hittade i deras rapport. De var mycket tillmötesgående och en av deras statistiker kunde beskriva de misstag de hade begått vilket visade att de hade förstått problematiken. Efter mötet var vi inte överens vad gäller hantering av rapporten. Vi hävdade att det enda rätta vore att ta bort rapporten helt eller att tydligt påpeka felaktigheterna i den medan Socialstyrelsen valde att skriva att metodbeskrivningen behövde förtydligas. Från och med hösten 2018 framgår det att rapporten anses vara inaktuell[3] och ” Myndighetens översyn förändrar däremot inte rapportens huvudsakliga slutsats – att åldersbedömning via magnetkameraundersökning är en metod som utifrån kunskapsläget 2016 hade stöd men borde studeras vidare, vilket också har gjorts.” Myndigheten hänvisar till sin rapport från 2018 men även i denna studie har inklusionskriterierna påverkat resultatet[4] och det går inte att dra långtgående slutsatser om de ensamkommande som faktiskt har åldersbedömts av RMV.

Vi fick också tillfälle att träffa ansvariga personer på RMV och kunde påpeka bristerna i metodvalet. Vid mötet var dock representanterna för RMV ointresserade av att diskutera svagheterna i analysen och ansåg inte att de hade någon skyldighet att svara på våra frågor. Mötet blev kort.

När är det rimligt för forskare att gå ut i dagspressen och kritisera en myndighets rapport?

Först och främst gäller yttrandefrihet vilket medför att alla har rätt att kritisera myndighetsrapporter oavsett hur det görs. Det finns dock svårigheter och dilemman som bör beaktas.

Ett problem kan vara om en forskare utnyttjar sin position för att föra fram ett budskap som inte är vetenskapligt grundat. Kritik kan röra sådant som handlar om skillnaden mellan olika vetenskapliga skolor. Om så är fallet behöver det förklaras tydligt. Kritiken får betydligt större tyngd om den är vetenskapligt prövad och publicerad innan den framförs i pressen. Detta är därför något som varje forskare bör sträva efter.

I vårt fall hittade vi ett uppenbart fel i rapporten som vi kunde förklara för en journalist, Negra Efendic, som i sin tur kunde stå för innehållet i artikeln där kritiken framfördes av oss; ett grundläggande fel som inte var öppet för vetenskaplig diskussion. Vi kontaktade inte i första hand berörd myndighet, då det var uppenbart att för mycket prestige var investerad i rapporten för att de skulle vara mottagliga för att föra en diskussion kring felen och hur det skulle kunna rättas till. Dessutom insåg vi att situationen var akut, då metoden hade applicerats på tusentals berörda personer.

RMV är den myndighet som har tillämpat metoden och skickat underlag till Migrationsverket för beslut. Här har Mostad & Tamsen (2018) publicerat en vetenskaplig artikel som visar på att den icke-validerade metoden som nu RMV tillämpar inte är rättssäker och att deras egna resultat är motsägelsefulla. En rimlig förklaring till RMVs motsägelsefulla resultat är att metoden för MR-knä innehåller någon typ av systematiskt fel. Genom att basera kritiken på vetenskapligt publicerade resultat får denna kritik stor tyngd. Dock har inte RMV bemött kritiken. En viktig fråga är därför hur politiker säkerställer att myndigheter är öppna för kritik och är beredda att rätta till rena felaktigheter i verksamheten.

Det fel som Socialstyrelsen gjorde i sin rapport går möjligen att förstå då de uppenbarligen arbetade under tidspress och inte hade bra rutiner för hur rapporten skulle granskas. Att det sedan inte rättade till felen, när det uppenbarades utifrån vår kritik, anser vi inte vara försvarbart. För att myndigheter fortlöpande ska utveckla verksamheten[5] behövs en kultur där man lär sig av misstagen.

Vilka lärdomar drar vi om den utbildning vi bör ge studenter i statistik?

Utifrån våra erfarenheter vill vi lyfta fram vad som är viktigt för dagens studenter i statistik. Mycket genomförs redan på de flesta utbildningar i statistik men vår förhoppning är att råden nedan belyser behovet ännu tydligare.

Att lära sig skriva tydliga metodbeskrivningar är en naturlig del av statistikstudier, och Socialstyrelsens rapport från 2016 visar på ett tydligt sätt varför det är så centralt. Ett ytterligare steg är att skriva rapporter som är helt reproducerbara genom att hänvisa till grunddata och bifoga programkod. På så sätt kan en läsare följa alla steg för hur ett resultat har tagits fram, och om resultaten ifrågasätts kan författarna lätt redovisa hur de har tagits fram. Vår rekommendation är att förmågan att kunna skriva reproducerbara rapporter bör ingå i statistikutbildningar på magister- eller masternivå.

När en student i statistik har tagit examen bör den känna att extern granskning är en naturlig del av högre utbildningen och förhoppningsvis ta med sig det ut i arbetslivet. Det bästa är om studenterna får träning i att granska varandras arbeten genom seminariebehandling av uppsatser och medrättande av övningsuppgifter. En viktig del i övningen är att upptäcka hur lätt det är att göra fel.

Därmed kommer vi in på kanske den viktigaste förmågan som vi behöver träna våra studenter i, förmågan att inse att man kan göra fel och att kunna erkänna misstag. I utbildningen behöver det finnas frihet och öppenhet för att studenter ska våga göra fel, vilket gör att vi lärare rimligtvis bör vara öppna med de fel vi gör. Ett sätt är att visa på andra forskares misstag i publicerade artiklar men också genom att förklara enkla misstag vi själva gjort som lärare.

Myter och felaktigheter rättas inte automatiskt till genom att framföra fakta, och studenter behöver tränas i att framföra kritik på ett klokt sätt. Hur detta görs på bästa sätt är en vetenskap i sig (Cook & Lewandowsky 2011, Lewandowsky et al. 2012, Frans 2017), men några enkla grundtips är att visualisera fakta med enkla figurer (s.k. infographics), att inte göra misstaget att förstärka myterna genom upprepningar i texten men däremot förklara varför myten har uppstått.

Vi hoppas att vi härmed har kunnat ge några råd för hur myndigheter ska undvika liknande misstag i framtiden, hur vi som forskare bör agera, och hur vi bör utveckla utbildningen för studenter i statistik.

Johan Bring, Statisticon AB, adjungerad professor i statistik vid Högskolan i Gävle

Lars Rönnegård, professor i statistik, Högskolan Dalarna

Referenser

Azeri, N. (2017) ”Åldersbedömningar av ensamkommande barn – särskilt om metoderna för medicinsk åldersbedömning”. Examensarbete i Offentlig rätt, Juridiska institutionen Stockholms universitet.

Cook, J., Lewandowsky, S. (2011), The Debunking Handbook. St. Lucia, Australia: University of Queensland. ISBN 978-0-646-56812-6.

Frans, E (2017) Larmrapporten – att skilja vetenskap från trams. Volante förlag. ISBN 9789188123930.

Lewandowsky, S., H., U. K., Seifert, C. M., Schwarz, N., & Cook, J. (2012). Misinformation and Its Correction: Continued Influence and Successful Debiasing. Psychological Science in the Public Interest, 13(3), 106–131.

Mostad, P. & Tamsen, F. (2018). Error rates for unvalidated medical age assessment procedures. International Journal of Legal Medicine. http://dx.doi.org/10.1007/s00414-018-1916-3.

Socialstyrelsen (2016). Metoder för radiologisk åldersbedömning – En systematisk översikt. (Rapport)

Socialstyrelsen (2018). Om magnetkamera vid bedömning av ålder – En studie av validiteten i radiologisk undersökning. (Rapport)

Fotnoter

[1] Efendic, N., ”Forskare pekar ut fler fel: ‘De bör dra tillbaka rapporten’”. Svenska Dagbladet 15 mars 2018

[2] Prop. 2009/10:175

www.riksdagen.se/sv/dokument-lagar/dokument/svensk-forfattningssamling/myndighetsforordning-2007515_sfs-2007-515

[3] www.socialstyrelsen.se/publikationer2016/2016-7-4

[4] Efendic, N. ”Experter: Varannan 18-åring kan klassas som barn” Svenska Dagbladet 6 juni 2018

[5] I enlighet Myndighetsförordningen §6.