AI och undersökningar

– Erfarenheter och lärdomar från tre års systematiskt utvecklingsarbete

AI håller på att förändra survey- och analysarbete i grunden – men inte nödvändigtvis på de sätt som dominerar det offentliga samtalet. Under de senaste tre åren har vi på Demoskop arbetat systematiskt med att integrera generativ AI i undersökningsprocesser, med fokus på kvalitet, säkerhet och metodologisk kontroll. Arbetet har gett tydliga insikter om möjligheter och risker, men har också väckt en fråga som snabbt blivit strategisk för branschen: om AI tar hand om nybörjaruppgifterna, hur lär sig då nästa generation statistiker det hantverk som behövs för att kunna göra välgrundade bedömningar?

AI är inte nytt – men generativ AI förändrar arbetssättet

AI i bred mening är inte nytt i undersökningsbranschen. Metoder som i dag ofta samlas under etiketten maskininlärning har länge använts i analysarbete, särskilt för prediktion och mönsterigenkänning – till exempel klustring/segmentering, klassificering och modellering av stora och komplexa datamaterial. Den typen av metodkompetens är väl förankrad och har levererat nytta under lång tid. Det som nu förändrar förutsättningarna är den generativa AI:n. Den kan generera, tolka och omforma text, kod och analys på ett sätt som tidigare krävde en mer specialiserad manuell arbetsinsats. Det innebär inte bara att vissa moment går snabbare, utan att arbetsflöden kan organiseras på ett kvalitativt annorlunda sätt – vilket i sin tur påverkar roller, kompetenskrav och former för kvalitetssäkring.

Från experiment till systematik: en kontrollerad arbetsmiljö

När vi började undersöka hur stora språkmodeller kan användas i undersökningsarbete präglades fältet av snabb utveckling, höga förväntningar och begränsad tydlighet kring riskerna. En central lärdom tidigt var att hållbar användning kräver mer än enskilda verktyg. Den kräver en kontrollerad miljö där olika modeller kan utvärderas, jämföras och användas på ett sätt som är spårbart och går att styra.

Avgörande för att detta ska fungera i praktiken är kontinuerliga och strukturerade tester. Ingen ny modell eller ny tillämpning bör tas i produktion utan att prestanda jämförs mot ett känt facit. I grunden handlar detta inte om något radikalt nytt, utan om att tillämpa statistiskt tänkande på ett nytt slags verktyg: att pröva, mäta, dokumentera och dra slutsatser utifrån systematisk utvärdering. Ett praktiskt resultat av detta arbetssätt är också att kompetensutveckling blir en integrerad del av produktionen, där utvärderingen görs öppet och det skapas en gemensam förståelse för både möjligheter och fallgropar.

Regelverken: bekanta ramar, nya tillämpningar

Undersökningsverksamhet är sedan länge omgiven av tydliga etiska och juridiska ramverk, vilket är en förutsättning för legitimitet. Samtidigt tillför generativ AI ett nytt lager av regulatorisk och metodologisk komplexitet. EU:s AI-förordning (AI Act) trädde i kraft 2024 och börjar gälla successivt, med vissa bestämmelser från 2025 och merparten från 2026. Förordningen skärper kraven på bland annat transparens, riskklassificering och mänsklig tillsyn vid användning av AI-system.

För verksamheter som producerar underlag för beslut är detta mer än en efterlevnadsfråga. Det handlar om metodologisk integritet. Om data är känslig, eller om resultaten kan påverka viktiga beslut, blir kontroll över hur data behandlas och hur slutsatser uppstår en kvalitetsdimension i sig – inte en sidofråga.

Vad AI gör bra – och var det krävs professionellt omdöme

I praktiken har AI-stöd förändrat flera arbetsmoment. Kodning av öppna svar, som tidigare var tidskrävande manuellt arbete, kan ofta göras snabbare och mer konsekvent med stöd av språkmodeller. Detsamma gäller vissa former av kvalitetsgranskning av enkätformulär, stöd vid analysutkast och första versioner av rapporttexter. När rutinmoment avlastas frigörs tid för sådant som är svårare att automatisera: metodutveckling, kvalitetskontroller, fördjupade analyser och integration av andra datakällor med surveydata.

Samtidigt är det avgörande att förstå vad generativ AI inte är: den är inte en sanningsmaskin. Den kan ”hallucinera”, dvs producera till synes trovärdiga uppgifter utan empirisk grund. Den kan reproducera bias från träningsdata. Den kan vara känslig för hur instruktioner och frågor formuleras – på ett sätt som påminner om, men inte är identiskt med, klassiska problem kring frågekonstruktion och mätfel. Att känna igen dessa mönster, och att veta hur de ska hanteras, har blivit en kärnkompetens.

Statistikerns kompetens: viktigare än någonsin, men mer sårbar att bygga

Här uppstår en paradox. Ju mer AI kan automatisera, desto viktigare blir statistikerns kärnkompetens – men desto svårare kan det bli att förvärva den.

Traditionellt har många av de moment som nu automatiseras fungerat som en del av upplärningen, bland annat kodning, datarensning, första analysutkast och arbete med ”stökig” rådata. Det är ofta genom just dessa repetitiva moment som professionellt omdöme byggs upp. Om de stegen försvinner eller komprimeras riskerar man att få en generation som kan producera resultat snabbt, men har svårare att avgöra när resultaten inte håller.

Det innebär att lärprocessen behöver designas mer explicit än tidigare. För att kunna bedöma kvaliteten i ett AI-genererat resultat måste man veta vad man letar efter: rimlighetskontroller, antaganden, bias, måttens begränsningar, modellernas känslighet och var felkällor typiskt uppstår. Den typen av kompetens kräver fortsatt gedigen statistisk träning – och en medveten koppling mellan metodkunskap och praktisk tillämpning i en AI-assisterad miljö. I förlängningen aktualiserar detta även behovet av en nära dialog med lärosätena om hur statistisk metod, dataförståelse och kritisk granskning kan tränas när arbetsprocesser förändras.

Slutsatser

Tre års systematiskt arbete med generativ AI i undersökningsprocesser pekar mot en tydlig slutsats: värdet ligger mindre i snabb implementering och mer i metodisk prövning. Genom att testa, mäta och dokumentera går det att ringa in vilka uppgifter AI löser väl, vilka som kräver noggrann tillsyn och var kvaliteten ännu inte är tillräcklig för att kunna användas i produktion utan betydande risk.

Generativ AI i surveyresearch är varken frälsare eller hot. Det är ett kraftfullt verktyg som kräver statistisk kompetens, etisk eftertanke och institutionell vaksamhet. För verksamheter som tar ansvar för kvaliteten i beslutsunderlag är ett aktivt och metodiskt förhållningssätt inte valfritt – det är en förutsättning för fortsatt trovärdighet.

Generativ AI i survey- och statistikarbete – praktiska hållpunkter

1) När AI ofta fungerar bra

• Koda öppna svar och samla dem i teman – men med manuell kontroll (och ibland dubbelkodning).
• Granska enkätfrågor språkligt: hitta otydliga formuleringar, ledande frågor och svarsalternativ som kan misstolkas.
• Ta fram första utkast till analysplan eller rapport: tabeller att ta fram, möjliga förklaringar och saker att kontrollera.
• Hjälpa till med dokumentation: metodtexter, kodlistor och enklare sammanfattningar (som alltid ska granskas).

2) Vanliga risker

• Påhittade uppgifter: AI kan hitta på siffror eller fakta som låter rimliga.
• Snygga men felaktiga slutsatser: texten kan bli övertygande även när den är fel.
• Snedvridningar: AI kan ge systematiska fel, till exempel i hur svar tolkas eller grupperas.
• Känslig för instruktioner: små ändringar i frågan till AI kan ge olika svar.
• Sekretessrisker: data kan hamna fel om man använder tjänster utan kontroll på lagring och åtkomst.

3) Minsta nivå av kvalitetssäkring

• Testa mot facit innan det används skarpt: jämför med manuellt arbete eller annan känd referens.
• Dokumentera hur ni gjorde: vilken modell, version, instruktion (prompt), datum och vad som ändrats i efterhand.
• Gör rimlighetskontroller: stämmer nivåer, fördelningar, bortfall och resultat mellan grupper?
• Tydligt ansvar: bestäm vem som godkänner AI-resultatet.
• Stickprovskontroll löpande: kontrollera ett urval regelbundet, särskilt vid öppna svar.

4) Dataskydd (extra viktigt i känsliga projekt)

• Lägg inte in respondent- eller kunddata i verktyg där ni inte vet hur data lagras och används.
• Begränsa åtkomst och logga: det ska gå att se vem som gjort vad.
• Tänk igenom konsekvenserna av fel: vad händer om AI ger ett missvisande resultat?
• Implementera en AI-policy och var öppen i rapporter: skriv om AI har använts, till vad och vilka kontroller som gjorts.

5) Kompetens: när rutinarbete automatiseras

• Säkerställ grundträning: juniora medarbetare behöver fortfarande lära sig datarensning, kodning och vanliga felkällor.
• Träna granskning: att kunna bedöma AI:s output är en färdighet som måste övas.
• Dialog med lärosäten: statistik och metod måste fortsatt läras ut med fokus på mätfel, bias, dokumentation och kritisk prövning relaterat till AI-utvecklingen.