Vad är relevant statistisk information?

Mycket information som ligger till grund för beslut i samhället är av statistisk natur. Därför är det viktigt att medborgarna har förmågan att kunna tolka den och bedöma om den är relevant för den aktuella frågeställningen. Denna förmåga ingår i det som kallas för statistisk litteracitet. Att människor har god statistisk litteracitet bidrar till att minska antalet beslut som baseras på feltolkningar av statistisk information.

Ofta missbrukas statistik genom att man i vilseledande syfte använder information som inte är relevant för den aktuella frågeställningen, eller att man utelämnar relevant information.

Ett exempel är när man har använt sig av ett stickprov för att få information om en population men inte redovisar hur stor osäkerheten är. Att kunna bedöma relevansen i statistisk information är en mycket viktig del av den statistiska litteraciteten. Här skulle Svenska statistikfrämjandet kunna bidra genom att ta fram en sammanställning som visar vad som är relevant information i olika situationer. Nedan presenterar jag några exempel.

Vi tänker oss att försvaret ska köpa in material för livremmar till ett stort men känt antal soldater. Materialet köps som metervara. Viken information om soldaternas midjemått är relevant för att man ska kunna bestämma hur många meter som behövs?

Vi kan tänka oss två fall: att livremmarna kapas till individuellt för varje soldat eller att man tillverkar en standardmodell som ska räcka runt midjan på 95 % av soldaterna (resten får banta). I första fallet är det medelvärdet som är den relevanta informationen medan det i det andra fallet är 95-percentilen.

Ett annat exempel är fallet med 33 kvinnor som fått sin livmoder bortopererad i onödan på Akademiska sjukhuset i Uppsala.

Enligt en läkare som uttalade sig på TV var detta inte så allvarligt eftersom medianåldern var över 50 år. Medianen säger ju bara att högst hälften varit under 50 år men inte något om hur många kvinnor som varit i en ålder då en bortopererad livmoder varit en katastrof. En relevant information hade varit att presentera antalet kvinnor i olika åldersintervall (till exempel femårsintervall).

För att undersöka om giftrester (från bekämpning av någon parasit) i ett parti äpplen ligger på en ofarlig nivå har man tagit ett stort antal äpplen som mosas och blandas. På blandningen görs sedan några mätningar av gifthalten och medelvärdet beräknas. Genom mosningen och blandningen har man rent fysiskt skapat ett medelvärde och upprepade mätningar på denna blandning ger ingen som helst uppfattning om spridningen mellan äpplen. Vad man som konsument är intresserad av är ju hur stor risk det är att ett enskilt äpple innehåller för mycket gift. Men det kräver ju att man mäter gifthalten i ett stort antal enskilda äpplen.

För några år sedan hade jag en diskussion med en politiker som hävdade att kvinnor diskriminerades vid tillsättning av professurer. Beviset var att medelbetyget i studentexamen var högre för flickor än för pojkar. För varje elev hade man tydligen beräknat medelbetyget för alla ämnen och därefter beräknat medelvärdet för pojkar respektive flickor.

För det första är det tveksamt om medelbetyget för alla ämnen är en relevant storhet när det gäller att bedöma lämpligheten som professor i ett visst ämne. Det är väl snarare betygen i de skolämnen som är relevanta för den aktuella professuren. För det andra är det inte medelvärdet i populationen som är det relevanta statistiska måttet. Det är ju i stället andelen elever i den övre ändan av fördelningen för pojkar respektive flickor och där kan det ju finnas fler pojkar än flickor även om medelvärdet är högre för flickor. Dessa argument bet dock inte på politikern eftersom man redan bestämt vad budskapet skulle vara.

Mätningar är sällan felfria. Vid till exempel koncentrationsmätningar i blodprov påverkas resultatet ofta av andra ämnen i provet än det vi vill mäta. Vi får därför räkna med att det kan finnas provspecifika fel, som naturligtvis kan vara beroende av vilken mätmetod som används. I praktiken används ofta olika mätmetoder för att mäta samma storhet både inom forskning och vid rutinmässiga diagnoser. I sådana fall är det viktigt att visa att överensstämmelsen mellan metoderna är tillräckligt bra för att de ska kunna betraktas som utbytbara.

Om man vill undersöka överensstämmelsen mellan två metoder bestämmer man koncentrationen i ett antal prov från olika patienter med båda metoderna. Från en sådan studie kan man, om skillnaderna inte är nivåberoende, beräkna gränser som förväntas omsluta 95 % av de skillnader man kan få mellan metoderna. Sådana gränser kallas överensstämmelsegränser och är relevanta för att bedöma överensstämmelsen mellan metoderna. Tyvärr har det blivit vanligt att använda korrelationskoefficienten som mått på överensstämmelsen. Att en korrelationskoefficient inte är ett relevant mått på överensstämmelsen visades av statistikerna Bland och Altman (1986) i en artikel i The Lancet.

Ett exempel på hur vilseledande det kan vara är en artikel som publicerades 2023 (Siegbahn et al.). Författarna har jämfört ett nytt instrument för diagnos av hjärt- och kärlsjukdomar med en etablerad metod och tolkat en korrelationskoefficient på 0,87 som god överensstämmelse.

I artikeln finns dock uppgifter som gör det möjligt att beräkna överensstämmelsegränser för relativa skillnader. Dessa visar att kvoten mellan resultaten med de båda metoderna kan variera från 1/3 till 3. Detta är förmodligen helt oacceptabelt för de flesta tillämpningar.

Med anledning av de tänkbara konsekvenserna skickade jag mejl till några av författarna och påtalade den felaktiga slutsatsen utan att få något svar. Eftersom fem av författarna är från Uppsala universitet anmälde jag artikeln till Nämnden för prövning av oredlighet i forskning som beslutat att författarna inte gjort sig skyldiga till oredlighet. Som oredlighet i akademisk forskning räknas nämligen bara fabricering, förfalskning och plagiering. Användningen av en korrelationskoefficient som ett mått på överenstämmelse mellan mätmetoder strider mot den etiska kod som Svenska statistikfrämjandet antagit. Den säger att när det gäller användning av statistiska metoder och mått ska man välja de metoder och mått som ger en så korrekt bild av verkligheten som möjligt.

Jag anser att Svenska statistikfrämjandet bör arbeta för att få den egna koden accepterad även inom akademisk forskning. Detta blir dock inte lätt. En anledning kan vara systemet med kollegial granskning (peer review). Har ett missbruk av statistik blivit tillräckligt utbrett är det troligt att även granskarna gjort sig skyldiga till det och de kommer då inte bara att acceptera utan även kräva att den olämpliga statistiska metoden används. Detta är en nackdel med att forskarvärlden granskar sig själv. Ibland är det därför som granskande journalister avslöjar felaktiga slutsatser. Ett exempel är Andrew Wakefields påstående i en artikel i The Lancet 1998 att MPR-vaccinet orsakade autism. Till slut drog The Lancet tillbaka artikeln.

Tyvärr har dock media vanligen en okritisk rapportering av forskningsresultat. Jag har ibland meddelat tidningar när de spridit allvarliga statistiska feltolkningar men hittills inte fått någon respons. Jag har även försökt få in debattartiklar som belyser problemet. För en person utan en position (politiker, professor eller representant för en organisation) är det dock inte lätt.