Vad är det egentligen frågan om i enkäter?

SMÅ SKILLNADER I HUR FRÅGOR STÄLLS KAN GE STORA SKILLNADER I STATISTIKEN

Det är glädjande att diskussionen om statistisk läskunnighet får allt större uppmärksamhet. Att kunna läsa, tolka och värdera statistik är en grundläggande kompetens i ett samhälle där siffror används för nästan allt, från hälsa och utbildning till politik och ekonomi. Förhoppningsvis inser fler vikten av att kunna bedöma diagram, tolka osäkerhet och genomskåda slutsatser som inte riktigt håller. En aspekt som jag ofta ser hamnar i skymundan är vad som sker innan siffrorna ens blir till – frågorna bakom dem.

Begreppen kan vara vaga, frågorna kan innehålla dolda antaganden, och ibland finns inget svarsalternativ som riktigt passar.

Jag fastnade nyligen för en siffra i en artikel: 85 procent av befolkningen uppgavs ha en ohälsosam kost. Det är en sådan uppgift som väcker både oro och nyfikenhet. Hur har man egentligen kommit fram till den siffran? Vad räknas som ”ohälsosamt”?

Jag började följa referenserna bakåt. Artikeln hänvisade till en studie, som i sin tur byggde på en annan. Där definierades hälsosam kost i termer av medelhavsdiet. Men när jag till slut hittade den ursprungliga studien och enkätfrågorna som låg till grund för resultaten var det bara en fråga som handlade om kost: ”Hur ofta dricker du läsk eller andra sötade drycker?”. Av de 27 procent som svarade så hade 15 procent uppgett att de aldrig drack läsk eller andra sötade drycker.

Plötsligt framstod siffran i ett annat ljus. Från att ha låtit som en bred och allmängiltig bedömning av människors matvanor visade den sig vila på en ganska snäv indikator.

Mycket av den statistik vi möter bygger på enkäter. Det gäller inte bara opinionsmätningar utan också utvärderingar av insatser, studier om hälsa, livsvillkor, attityder och beteenden. Enkäter är i praktiken en av de vanligaste vägarna från mänsklig erfarenhet till siffra. Ändå behandlas de ofta som en enkel transportsträcka: frågor ställs, svar samlas in och sedan finns data redo för analys. Men det är i det här till synes enkla steget som den information vi senare använder som statistik faktiskt tar form. Varje svar påverkas i hög grad av hur frågan är formulerad och tolkad, och därför borde förståelsen för frågorna bakom siffrorna vara en självklar del av statistisk läskunnighet.

Att svara på en enkät kan verka trivialt. Formatet är bekant: en fråga, några svarsalternativ, ett kryss. Men i verkligheten ska respondenten översätta något komplext – erfarenheter, minnen och känslor – till ett avgränsat svar. Ofta ska detta ske snabbt, utan möjlighet till förtydliganden. Begreppen kan vara vaga, frågorna kan innehålla dolda antaganden, och ibland finns inget svarsalternativ som riktigt passar.

I ett samtal skulle vi kunna resonera, ställa frågor, kanske ändra oss under tiden. I en enkät finns inte det utrymmet. Frågan står där och svaret ska ges inom de ramar som redan är satta. Ändå visar ögonrörelsestudier att vi sällan läser hela frågan noggrant. Många hoppar direkt till svarsalternativen eller skummar texten, och hjälptexter som förklarar hur man ska tolka en fråga läses nästan aldrig. Det gör svarandet till ett komplext beteende där vår tolkning påverkas av vana, kontext och snabba bedömningar.

Att ta ett steg tillbaka och försöka förstå vilka frågor som ligger bakom en siffra kan förändra hur vi tolkar den.

Inom enkätforskningen beskriver man ofta svarandet som en process i flera steg. Frågan ska förstås, relevant information ska hämtas ur minnet, en bedömning ska göras och översättas till ett av de svarsalternativ som erbjuds. Men processen är långt ifrån mekanisk. Den handlar om tolkning, och tolkning sker alltid i ett sammanhang.

Exemplen är många. En fråga som hur trygg känner du dig i ditt område? kan ge svar som visar att 80 procent känner sig trygga, medan en annan formulering, hur orolig är du för att utsättas för brott i ditt område?, kan visa att 40 procent i samma område känner oro. Den första frågan fokuserar på generell trygghet, den andra på upplevd risk och oro. I utvärderingar kan en fråga som har kursen gjort att du blivit bättre på att samarbeta? ge att majoriteten svarar att de blivit bättre, eftersom frågan förutsätter förbättring, medan en mer öppen formulering om förändring kan visa ett mer nyanserat resultat. Frågor som hur nöjd är du med stödet du fått? påverkas inte bara av innehållet av stödet utan också av relationen till den som ställt frågan och av sociala normer, vilket kan ge stora skillnader mellan olika grupper eller sammanhang. Nöjdhet säger dessutom inte nödvändigtvis något om tillräcklighet, det går att vara nöjd med det stöd man fått och samtidigt ha behov av mer stöd. Detta blir särskilt problematiskt när sådana resultat används för att dra slutsatser om kvalitet.

Det är inte heller bara själva formuleringen som påverkar svaren. Placering i enkäten, ordningen på frågor och vilka svarsalternativ som erbjuds styr också tolkningen. En fråga om träning kan uppfattas olika beroende på om enkäten inleds med hälsorelaterade frågor eller om den handlar om fritid. Vad som räknas som träning och hur ofta det sker avgör respondenten själv. Små förändringar i formuleringar eller alternativ kan ge påtagliga skillnader i svaren. Det är sällan slumpmässigt, utan konsekvenser av hur frågorna fungerar och hur de förstås.

Det finns också en seglivad föreställning om att brister i en enkät kan kompenseras i efterhand genom statistisk analys. Om resultaten inte verkar rimliga tänker man sig ofta att det går att justera, vikta eller modellera sig fram till något mer korrekt. Men om frågorna är otydliga, snävt formulerade eller i grunden missar det man vill mäta så hjälper det inte hur avancerad analysen är. Den kan inte återskapa information som aldrig samlades in från början. Statistiken blir i bästa fall en förfining av det material som finns, inte ett sätt att ersätta bristande mätning.

Mot denna bakgrund blir det tydligt att förståelsen för frågorna bakom siffrorna inte är något man bara kan hoppa över. Kompetensen att formulera bra enkätfrågor kräver erfarenhet och vetenskaplig grund. Det är ett hantverk där kunskap om språk, kognition, perception, mentala modeller och mätteknik samspelar för att skapa frågor som ger meningsfulla svar. Den som behärskar detta har inte bara ett verktyg för att samla in data utan också en djupare förståelse för vad statistiken egentligen säger.

För den som möter statistik i vardagen behöver det inte vara så komplicerat. Man behöver inte själv behärska konsten att konstruera enkätfrågor för att bli en mer kritisk läsare av siffror. Ofta räcker det långt att ställa en enkel fråga: vad är det egentligen som har mätts?

Att ta ett steg tillbaka och försöka förstå vilka frågor som ligger bakom en siffra kan förändra hur vi tolkar den. Det gör det möjligt att se begränsningarna, nyanserna och de ibland ganska stora glapp som kan finnas mellan en siffra och det fenomen den påstås beskriva.

Statistisk läskunnighet handlar därför inte bara om att kunna läsa av diagram eller förstå procenttal. Det handlar också om att vara nyfiken på hur siffrorna blivit till. I många fall börjar den förståelsen med något så enkelt som att gå till botten med frågorna bakom dem – och att våga fråga sig: vad är det egentligen frågan om?