Stora språkmodeller och surveyundersökningar

– VAD BEHÖVER VI TÄNKA PÅ FÖR GOD DATAKVALITET?

Artificiell intelligens (AI) förändrar snabbt hur vi lever och arbetar. Särskilt datanära yrken, som statistik och surveyforskning, brottas med både möjligheter och begränsningar när det gäller hur AI kan användas i deras arbetsprocesser. I centrum av diskussionen står avvägningar mellan effektivitet och kvalitet. För att kunna bedöma vilken roll AI kan spela i surveyforskningen och hur teknologin påverkar datakvaliteten behöver man först förstå hur den fungerar.

Vad är stora språkmodeller och hur fungerar de?

När man talar om AI idag syftar man oftast på stora språkmodeller (large language models, LLM:er) – teknologin bakom chattbotar som ChatGPT. LLM:er är en form av generativ AI som är skapad för att bearbeta och generera mänskligt språk, baserad på samband mellan ord (så kallade embeddings) och statistiska sannolikheter.

För att möjliggöra detta tränas LLM:er på stora, men selekterade textmängder från internet, till exempel böcker, Wikipedia och sociala medier (pre-training). Därefter finjusteras de för att kunna följa instruktioner (instruction tuning) och får ofta återkoppling på sina svar för att bättre anpassas till mänskliga preferenser (alignment, RLHF). När en LLM används omvandlas användarens input (en prompt) till numeriska representationer (tokens). LLM:en analyserar relationerna mellan dessa tokens utifrån vad den lärt sig under träningen och förutsäger sedan steg för steg den (mest) sannolika nästa token, givet både prompten och det som redan har genererats.

Resultatet blir en text i naturligt språk (en completion). Denna text genereras genom att ord väljs från en sannolikhetsfördelning över möjliga nästa ord. Fördelningen påverkas inte bara av prompten, utan också av så kallade hyperparametrar. Med dessa kan man till exempel styra om endast de mest sannolika orden ska beaktas (top-p, vilket innebär att sannolikhetsfördelningen beskärs), eller hur stor vikt som ska ges åt mindre sannolika alternativ (temperature, vilket modifierar fördelningens form) – båda dessa parametrar påverkar hur varierad texten blir.

Prompting och finjustering. En central aspekt i arbetet med LLM:er är hur man ger dem instruktioner. LLM:er kan användas med olika typer av så kallad prompting. Vid zero-shot prompting får LLM:en en uppgift utan ytterlig information, det vill säga utan definitioner eller exempel på önskat resultat. Vid few-shot prompting ger man LLM:en både en instruktion och några exempel på prompter och motsvarande önskade completion för att leda den. Fine-tuning innebär att LLM:en tränas vidare på en uppgiftsspecifik datamängd av prompt-completion-par innan den används. På det sättet finjusterar man de interner vikterna, vilket brukar förbättra LLM:ens prestation på den aktuella uppgiften.

Tillgång. LLM:er kan nås på olika sätt, i fallande ordning efter användarvänlighet: via chattbaserade gränssnitt (till exempel ChatGPT), via Application Programming Interfaces (API:er) eller genom egen drift (self-hosting). API:er gör det möjligt att använda LLM:er via webbplattformar eller programmeringsspråk som R eller Python, med större kontroll över vissa hyperparametrar, utan att man behöver egna dataresurser eller avancerade programmeringskunskaper. Dessa krävs däremot vid self-hosting, som i gengäld ger maximal kontroll över modellen.

Typer av modeller. En viktig skillnad mellan olika LLM:er, nära kopplad till hur de kan nås, är om de är öppna eller slutna. Öppna modeller erbjuder en viss grad av transparens vad gäller sina vikter (open-weight, till exempel DeepSeek eller OpenAI:s GPT-OSS-serie) och träningsdata (open-source, till exempel Meta:s Llama och Mistral). De kan laddas ner fritt (till exempel via plattformar som Hugging Face) och ger användaren större kontroll, eftersom de kan installeras och köras på servrar som användaren själv har tillgång till.

Open-source- och open-weight-LLM:er minskar därmed behovet av att förlita sig på tredjepartsservrar (vilket är viktigt för integritet) och skyddar mot oförutsedda modelluppdateringar (vilket underlättar reproducerbarhet). Samtidigt har inte alla forskare tillgång till de dataresurser och den tekniska kompetens som krävs för att köra öppna modeller (plattformar som LM Studio försöker överbrygga detta).

I kontrast till detta är proprietära modeller, som OpenAI:s GPT, Google:s Gemini och Anthropic:s Claude, oftast slutna “black boxes” med begränsad insyn i hur de är uppbyggda. De erbjuder användarvänliga chattgränssnitt och API:er, vilket gör det enklare att replikera tidigare studier (åtminstone vad gäller arbetsprocessen). Chattgränssnitt är ofta gratis upp till en viss gräns, men innebär kostnader per token (det vill säga beroende på längden på prompten och svar), vilket kan bli dyrt vid stora datamängder eller mer komplexa uppgifter.

Tillgång till proprietära API:er kräver vanligtvis en prenumeration. Mot bakgrund av dessa frågor om tillgänglighet och transparens, liksom integritet och reproducerbarhet (se nedan), har det därför framförts argument för att enbart använda open-source-LLM:er i forskning (se Palmer et al., 2023; Spirling, 2023). För en mer detaljerad översikt över LLM:er för social- och beteendevetenskap, se GESIS Guides to Digital Behavioral Data (Holtdirk et al., 2025).

Möjligheter med LLM:er i surveyforskningen

Moderna LLM:er är i regel flerspråkiga – även om de ofta är optimerade för engelska och dessutom fungerar i allmänhet bättre ju större ett språk är. Detta har bland annat med träningsdatan att göra, som oftast består av mest engelska texter. Vikter och anpassningsprocessen spelar också en roll. Dessa LLM:er fungerar som allmänna verktyg som inte nödvändigtvis kräver avancerade tekniska kunskaper. Denna egenskap gör dem särskilt attraktiva för en bred grupp av forskare. Samtidigt kräver de, ur ett datakvalitetsperspektiv, en viss AI-kompetens – och, som vi kommer att se, ibland även tekniska färdigheter för att ge bästa möjliga resultat. [CO1.1]

Generellt kan man identifiera tre huvudsakliga roller för LLM:er i surveyforskningsprocessen: som forskningsassistenter, intervjuare och respondenter. Det innebär att det finns potentiella användningsområden för LLM:er i alla delar av surveyprocessen, där de kan bidra till att minska fel som påverkar datakvaliteten, samtidigt som de ofta är mer effektiva än människor.

Före datainsamlingen kan LLM:er fungera som forskningsassistenter genom att stödja utvecklingen av forskningsdesignen, samt utveckling, testning, förbättring och översättning av material som används i en survey. Detta inkluderar (delar av) surveyinstrumentet (till exempel frågor, svarsalternativ, instruktioner och experimentella stimuli) samt annat material som används vid rekrytering av potentiella respondenter (till exempel inbjudningsbrev, rekryteringsinlägg och informationsmaterial).

Under datainsamlingen kan LLM:er fungera som intervjuare genom att genomföra helt standardiserade eller adaptiva, samtalsbaserade intervjuer. De kan då dynamiskt administrera frågor baserat på tidigare svar, generera nya följdfrågor i realtid och ge exempel för att underlätta respondenternas förståelse.

Som respondenter kan LLM:er generera syntetiska surveydata, oftast genom att simulera mänskliga respondenter via persona-baserade prompts som motsvarar specifika demografiska eller attitydmässiga profiler. Dessa så kallade silicon samples kan användas för att komplettera eller delvis ersätta datainsamling från människor, men också i samband med pretesting (före den huvudsakliga datainsamlingen) eller imputering (efter datainsamlingen).

Silicon samples är en av de mest omdiskuterade tillämpningarna av LLM:er inom surveyforskningen. Medan tidiga studier visade att vissa LLM:er kunde spegla aggregerade attitydmönster hos människor visar senare forskning att dessa resultat inte generaliserar över olika populationer, samband och forskningsdesigner. Detta väcker frågor kring kvaliteten på data som genereras med silicon samples.

Efter datainsamlingen kan LLM:er återigen stödja surveyforskare genom att (för)bearbeta, analysera och sammanfatta data. Förbearbetning omfattar till exempel att digitalisera ljud- och pappersbaserade data och att strukturera ostrukturerade data från sociala medier. LLM:er kan också bidra till att identifiera svar av låg kvalitet och om intervjuer avviker från instruktionerna. Bearbetningsuppgifter för LLM:er inkluderar klassificering av text-, bild- och ljuddata från öppna svar eller andra datakällor. Eftersom LLM:er är en teknik inom naturlig språkbehandling (natural language processing, NLP), är detta inte bara en av de vanligaste och mest framgångsrika tillämpningarna, utan också en vidareutveckling av tidigare maskininlärningsbaserade klassificeringsmetoder. Samtidigt finns det viktiga begränsningar att beakta (se nedan). Under dataanalysen kan LLM:er användas för att skriva programkod och möjligtvis för att sammanfatta kvantitativa och kvalitativa data samt resultat.

En kommande systematisk översikt av användningen av LLM:er inom surveyforskningen sammanfattar det nuvarande empiriska kunskapsläget, inklusive både framgångar och misslyckanden (working paper: Buskirk et al., 2025).

Överväganden gällande datakvalitet när man använder LLM:er

Även om de tidigare nämnda tillämpningarna kan göra surveyforskningen mer effektiv och samtidigt minska mänskliga fel, kan LLM:er också leda till egna, svårförutsägbara fel och potentiellt förstärka befintliga bias i hur olika populationer och centrala begrepp förstås. Bias i LLM:ers output kan komma både från modelldesignen – vad de tränades på och hur de har anpassats – och från forskningsdesignen, inklusive modellval, promptning och hyperparametrar. Dessa typer av bias kan direkt påverka kvaliteten på surveydata som samlas in, genereras, bearbetas och analyseras med hjälp av LLM:er. Det gäller bland annat täckning, validitet, generaliserbarhet, reliabilitet, reproducerbarhet och transparens.

LLM-design. LLM:er är byggda på data från internet. I motsats till surveydata skapas sådana data inte för att producera generaliserbara mätningar, utan de är ”upphittade”. Detta kan äventyra både representativa och mätmässiga aspekter av datakvalitet i surveyforskningen.

Representationsfel kan uppstå på grund av att träningsdata för LLM:er är obalanserade och sannolikt inte speglar den mångfald av attityder och beteenden som finns i mänskliga populationer. Två mekanismer kommer fram: För det första påverkar den digitala klyftan – det vill säga systematiska skillnader i vilka som har tillgång till, använder och bidrar på olika sätt till de internetplattformar som används i träningen av LLM:er – sammansättningen av “urvalsramen” av potentiella texter som representerar människor i förhållande till målpopulationen. För det andra påverkar det icke-slumpmässiga urvalet av texter till träningskorpusar sammansättningen av det faktiska “urvalet” av träningstexter i förhållande till urvalsramen.

Därutöver kan bias introduceras genom de personer som annoterar träningsdata och som anpassar LLM:erna, särskilt med avseende på deras personliga bakgrund. Systematiska skillnader mellan en texts avsedda betydelse och annotatörens tolkning kan uppstå på grund av bristande kontextförståelse. Detta kan leda till att vissa tolkningar överrepresenteras i LLM:er eller till felaktig återgivning av mänskliga attityder och beteenden.

Som en följd av dessa typer av bias i LLM:ers uppbyggd är det sannolikt att deras output inte representerar alla grupper eller individer på ett likvärdigt sätt, vare sig i omfattning eller kvalitet. Stereotyper om grupper kan reproduceras. Generellt har LLM:er visats uppvisa både kulturell och psykologisk bias, inklusive en tendens att återspegla eller utgå från så kallade WEIRD-normer (Western, Educated, Industrialized, Rich, and Democratic), luta politiskt åt vänster och vara biased till nackdel för icke-engelskspråkiga och marginaliserade grupper. Denna brist på mångfald och variation skapar problem när LLM:er används för att efterlikna respondenter (inklusive i multivariata analyser), klassificera och analysera svar eller vid design och pretesting av enkäter (inklusive power-analyser).

Slutligen innebär träningsdatans tidsbundenhet att LLM:er inte automatiskt är uppdaterade med aktuella förändringar, till exempel i språkbruk eller i globala politiska, ekonomiska och sociala förhållanden. Eftersom mänskliga attityder och beteenden förändras i takt med sådana externa händelser kan detta leda till både representations- och mätproblem när LLM:er används i surveyforskning, eftersom LLM:er kan generera output baserat på föråldrade uppfattningar om attityder och beteenden.

Även ur ett mätperspektiv speglar träningskorpusar för LLM:er inte nödvändigtvis faktiska mänskliga preferenser, eftersom beteenden online inte alltid är giltiga indikatorer på attityder eller beteenden – något som det välkända exemplet med Google Flu Trends visade (Lazer et al., 2014). Där försökte forskare “nowcasta” säsongsinfluensans utveckling baserad på hur ofta människor sökte efter influensarelaterade termer på Google. Även om de initiala trenderna följde uppskattningar från hälsomyndigheter, började algoritmen senare överskatta influensans utbredning med mer än det dubbla. En förklaring var förändringar i hur människor använde Google, delvis på grund av föreslagna sökningar och delvis eftersom vissa sökningar klassificerades som influensarelaterade trots att de inte var det. Idag påverkas till exempel data från sociala medier i hög grad av plattformarnas algoritmer och funktioner, och användare kan skapa innehåll strategiskt eller oavsiktligt, och uttrycka sig på andra sätt än de skulle göra offline – men LLM:er lär sig på online-information.

Mätproblem uppstår också när man tänker på vad en LLM:s output faktiskt är: den betingade sannolikheten att tidigare ord följs av ett visst nästa ord. Även om outputen liknar mänskligt språk är det oklart om den också representerar (och därmed kan approximera) mänskliga kognitiva processer, vilket väcker frågor om validitet. Mätkvaliteten kompliceras ytterligare av att den genererade texten ibland inte överensstämmer med vad de underliggande numeriska sannolikhetsvärdena (så kallade logprobs) skulle indikera. Det är alltså inte alltid den numeriskt mest sannolika fortsättningen som faktiskt genereras. Därmed spelar det roll för inferensen om forskare tolkar textoutputen direkt eller i stället arbetar med de underliggande sannolikheterna.

Forskningsdesign. Datakvaliteten i LLMassisterad surveyforskning kan också påverkas av forskarens val. Det mest uppenbara är valet av det specifika LLM:en, vilket i sin tur kan bero på faktorer som tillgänglighet, användargränssnitt, hastighet, kostnader och användningsbegränsningar. Varje LLM bygger på en unik kombination av träningsdata, anpassningsprocesser, vikter och övergripande modellarkitektur, och skiljer sig åt i hur de är optimerade – och därmed i sin prestation – för olika språk och uppgifter. LLM:er kan också ha olika standardvärden för hyperparametrar, som forskare kan tro ”ska” användas utan att justera dem, vilket kan leda till mindre optimala och svårjämförbara resultat. Därför kan olika LLM:er prestera olika väl även när de används för samma uppgift inom surveyforskningsprocessen. Frågan är alltså inte bara om en LLM kan utföra en viss uppgift, utan vilken LLM som kan det. Detta innebär en utmaning för generaliserbarheten i slutsatser om vilka uppgifter som kan stödjas av LLM:er, liksom för att formulera rekommendationer om bästa praxis.

Vidare kan variationen i modellernas hyperparametrar påverka datakvaliteten i LLMassisterad surveyforskning. Ett exempel är avvägningen mellan reliabilitet och variation: genom att sänka temperaturen kan slumpmässigheten i LLM:ers output minskas, vilket ökar reliabiliteten. Samtidigt minskas variationen inom grupper till en nivå som sannolikt inte motsvarar mänskligt data. Om modellen till exempel ställs inför två möjliga svarsalternativ – exempelvis två svar på en attitydfråga eller två kategorier i en textklassificering – där det ena har sannolikheten 0,51 och det andra 0,49, kommer en LLM med mycket låg temperatur alltid att välja alternativet med sannolikheten 0,51. I verkligheten skulle dock nästan hälften av fallen tillhöra den andra kategorin. Även om experiment med olika hyperparametrar kan ge insikter om hur de kan optimeras, är deras exakta påverkan på den datagenererande processen i LLM:er svår att avslöja, vilket skapar utmaningar för validiteten.

Slutligen utgör LLM:ers känslighet för hur en prompt formuleras ytterligare en utmaning för datakvaliteten i LLM­assisterad surveyforsk­ning. Både val och ordning av ord och svarsalter­nativ i prompten kan påverka outputen, på sätt som inte nödvändigtvis motsvarar mänskliga ordnings­ och formuleringseffekter. Dessutom leder mer information i prompten (till exem­pel mer detaljerade kategoribeskrivningar vid kodning av öppna svar eller mer information om de respondenter som ska simuleras) inte alltid till bättre outputkvalitet. LLM:ers kon­textfönster är begränsade, och modellerna har ibland svårt att bevara all information lika väl i längre prompts. Till exempel tenderar vissa att “glömma” mitten av prompten. Därför blir valet av prompting­ eller finjusteringsansats avgörande för mätkvaliteten.

LLM­ och forskarberoende faktorer påverkar tillsammans reliabilitet och reproducerbarhet. Den probabilistiska naturen i hur LLM:er gene­rerar text skapar utmaningar. Detta kan delvis hanteras genom att forskare sänker tempera­turparametern mot 0, vilket gör modellen mer deterministisk i valet av det mest sannolika sva­ret (hur detta påverkar validiteten diskuterades tidigare), samt genom att sätta ett seed: att man sätter fast startvärdet för en slumpgenerator (till exempel vid slumpmässigt urval från en fördel­ning), så att samma “slumpmässiga” resultat kan återskapas varje gång koden körs. Detta är vanligt i simuleringsstudier inom statistisk programmering.[CO2.1]

Trots detta kan avvikelser från det ursprungli­ga resultatet fortfarande uppstå. En annan faktor som påverkar reliabilitet och reproducerbarhet rör främst proprietära LLM:er som inte kan laddas ner och köras lokalt. Dessa är föremål för så kallad deprecation, vilket innebär att le­verantörer kan välja att avveckla äldre modeller. Detta kan hindra forskare från att använda dem på längre sikt eller från att upprepa tidigare ana­lyser, både sina egna och andras. Men också om leverantörer tvärtom uppdaterar befintliga mo­deller innebär det inte nödvändigtvis förbättrad prestanda för den aktuella uppgiften. Eftersom varje LLM har en egenartad datagenererande process är det inte säkert att arbetsflöden som validerats för en viss modell kan överföras till en uppdaterad version eller efterföljare. Särskilt proprietära LLM:er väcker också frågor om transparens. Även om full insyn i tränings­ och anpassningsprocesser är ovanlig även för öppna LLM:er, erbjuder slutna modeller inte ens information om de vikter som används. Detta gör det svårt att förstå den datagenere­rande processen, identifiera och tillskriva bias samt att hantera dessa eller bedöma modellens lämplighet för ett visst syfte.

För en mer utförlig diskussion om datak­valitetsaspekter vid användning av LLM:er i surveyforskningen, se von der Heyde (2025).

Slutsats

I form av LLM:er har AI potentialen att förändra hela surveyforskningsprocessen. Samtidigt har deras tillämpningar inom området och de ut­maningar de medför ännu inte utvärderats och hanterats på ett systematiskt sätt. Den stora mängden möjliga (och observerade) fel väcker frågor om generaliserbarheten i enskilda stu­dier som visar på framgångsrik användning av LLM:er i specifika surveyuppgifter och kon­texter. Dessutom är LLM:ers styrkor och svag­heter olika viktiga beroende på vilken uppgift inom surveyforskningsprocessen det pratas om. Därför behöver varje användning av LLM:er i surveyforskningen utvärderas i relation till den specifika uppgiften och kontexten där de ska tillämpas, för att säkerställa god datakva­litet (fit-for-purpose). Med tillräcklig kunskap om deras möjligheter och begränsningar, samt med mänsklig övervakning och validering, är det möjligt att LLM:er kan integreras med mer etablerade metoder för att ge en bättre bild av hur människor tänker och agerar.