t-test och hypotesformuleringar – enkritisk granskning

På din första kurs i statistik (och kanske bara där?) har du väl fått lära dig att jämföra två normalfördelade stickprovsmedelvärden i ett t-test, samt att t-testa ifall det föreligger (lineär) regression av en variabel på en annan. Vi skall se närmare på dessa båda besläktade procedurer och litteraturen om dem, som kan gagnas av att granskas på ett litet djupare plan.

Jämförelse av två stickprov

Kanske har du lärt dig jämföra medelvärdena för två oberoende, normalfördelade stickprov såhär, som en liten algoritm (avsiktligt litet löst formulerad här):

0. Formulera H₀: ”De två normalfördelningarna har ett och samma väntevärde”.

1. Bedöm om stickprovsvarianserna är ungefär lika (eventuellt med ett statistiskt pre-test).

2a. Om ”lika varianser” är godtagbart, använd ”Student’s t-test” av H₀: ”Samma väntevärde”.

2b. Annars, använd ”Welch-testet”, ett slags approximativt t-test, med färre frihetsgrader.

Denna elementära situation kan därmed ha ansetts avklarad, så den har kanske inte ägnats uppmärksamhet i någon kurs på djupare nivå. Det skall vi kompensera för här. Vi skall visa att situationen är ganska intrikat, och att det vanligen finns anledning att ifrågasätta algoritmen.

För drygt ett sekel sedan härledde R. A. Fisher fördelningen för t-testet, eller tydligare ”Student’s t-test” (uppkallat efter W. S. Gosset, med pseudonymen Student), som test av hypotesen

H₀:”De två stickproven kommer från en och samma (normalfördelade) population”.

Testet var designat för att ha styrka mot skillnad i väntevärdena, och t-teststorheten är (naturligen) differensen mellan stickprovens medelvärden, normerad på lämpligt sätt (med medelfelet). Men lägg nu märke till att Fishers nollhypotes är en annan än algoritmens H₀ , som bara uttalade sig om väntevärdena. Ifall de två stickproven kommer från samma population, så representerar stickprovsvarianserna förstås samma gemensamma populationsvarians (som skattas med den poolade empiriska variansen), och t-testet är det adekvata testet att använda. Vi behöver inte göra en extra förutsättning om lika varians, för det ligger redan i formuleringen av nollhypotesen!

Fisher fick snart anledning betona detta, sedan det börjat ifrågasättas om t-testet kunde användas när stickprovsvarianserna var (signifikant) olika, och t ex i Fisher (1934, avsnitt 24.1) kan man läsa:

It has been repeatedly stated, …, that our method involves the “assumption” that the two variances are equal. This is an incorrect form of statement; the equality of the variances is a necessary part of the hypothesis to be tested, namely that the two samples are drawn from the same normal population. The validity of the t-test, as a test of this hypothesis, is therefore absolute, and requires no assumption whatever.

Kritiken att stickprovsvarianserna kan vara så olika, att de uppenbart inte representerar en och samma fördelning, besvarar Fisher alltså elegant med att i så fall måste det vara en del av avvikelsen från H0 – dock i en riktning där ett test som utgår från medelvärdesdifferensen inte har någon nämnvärd styrka. Det är inte ovanligt, kanske är det rent av typiskt, att en verkningsfull behandling även påverkar variansen åt ena eller andra hållet. Om behandlingen till exempel höjer de uppmätta värdena, så ökar ofta även variansen, men om den stabiliserar responsen, så minskar variansen.

Ett bättre argument för algoritmen ovan kan då vara att vi inte önskar testa Fishers H₀, utan just bara algoritmens Welch-hypotes att två normalfördelningar har samma väntevärde, utan något antagande om varianserna ens under H0. Det leder oss in på en diskussion av vilken testsituation vi står inför. Den vanligaste och i särklass viktigaste är väl den experimentella, att vi vill testa ifall en behandling eller påverkan har effekt, och ena stickprovet består av på något sätt behandlade eller utsatta individer, och det andra används som kontroll- eller referensgrupp. Om behandlingen saknar effekt, ja då är vi automatiskt i Fishers nollhypotes.

I en annan situation, då vi bara vill jämföra en mätbar storhet i två olika populationer (t ex kvinnor och män), så är inga potentiella behandlingseffekter aktuella. Då kan vi välja att följa algoritmen när vi ska testa. Om vi nu alls ska testa. Är det säkert att det är intressant att påvisa att väntevärdena skiljer sig, ifall vi redan sett att (även) varianserna gör det? När varianserna är lika så kan vi säga att den ena fördelningsfunktionen ligger helt under (eller till höger om) den andra, men det gäller inte om varianserna är olika. Väntevärdesdifferensen är bara en aspekt av ett mer komplicerat förhållande.

Man kan alltså förvänta sig eller åtminstone hoppas att litteraturen framhåller distinktionen mellan de båda testsituationerna inför valet av test. Men så är inte alls fallet, inte ens inom encyklopedin Wikipedia.

Wikipedia, samt några programpaket

Wikipedia har flera relevanta uppslagsord, vilket dock är förvirrande, för de är inte överens. Se här:

Wikipedia: A/B testing. Anger att Welch-testet är standard, och att t-testet är ett alternativ.

Wikipedia: Student’s t-test, (two-sample). Efter att texten sagt att ”Student’s t-test” för två stickprov är ett lägestest av H₀: ”lika medelvärden”, så fortsätter den med följande delvis uppseendeväckande rader:

All such tests are usually called Student’s ttests, though strictly speaking that name should only be used if the variances of the two populations are also assumed to be equal; the form of the test used when this assumption is dropped is sometimes called Welch’s t-test.

Under delrubriken ”similar variances” beskrivs nu t-testet. ”Similar” specificeras där som kvot s₁/s₂ mellan ½ och 2, dvs den ena stickprovsvariansen får vara 4 gånger så stor som den andra, oavsett stickprovens storlek!

Under delrubriken ”unequal variances” (komplementet till ”similar”) beskrivs det som jag kallat Welch-testet, och där läser man:

This test, also known as Welch’s t-test, is used only when the two population variances are not assumed to be equal.

Således har de båda testerna olika användningsområden, men inte på grund av olika hypoteser utan olika modellförutsättningar, ungefär som den inledande algoritmen var formulerad. Lägg märke till ”only” i frasen ovan, och jämför med texten nedan för Welch-testet, som helt klart har en annan författare.

Wikipedia: Welch’s t-test. I den artikeln står det att Welch-testet

…is an adaptation of Student’s t-test, and is more reliable when the two samples have unequal variances and possibly unequal sample sizes.

Så långt låter det som inledningens algoritm. Men artikeln går ett steg längre och lägger till:

It is not recommended to pre-test for equal variances and then choose between Student’s t-test or Welch’s t-test. Rather, Welch’s t-test can be applied directly.

Artikeln rekommenderar alltså att man alltid skall använda Welch-testet. Algoritmen blir därmed helt överspelad, och även Fishers argument för t-testet. I texten refereras till en artikel i en psykometri-inriktad tidskrift (Zimmerman, 2010), som påstår:

pretest… no longer widely recommended by statisticians, although they persist in some textbooks and software packages.

Således, det skall fortfarande finnas statistiker och mjukvara som envisas med att rekommendera algoritmen (däribland författaren till den förra Wikipedia-artikeln!), men de flesta av oss statistiker påstås tycka att man alltid skall använda Welch-testet, dvs att Students t-test är onödigt!

Låt oss även se i några statistikpaket hur det ser ut (R, SAS och Excel):

R har tyvärr Welch-testet som default, men om man aktivt ber om t-testet, så får man detta.

SAS PROC TTEST har som default att man får både t-testet och Welch-testet, samt ett F-test som pre-test av varianserna. Förvirrande benämns Welch-testet inte så i SAS, utan ”Satterthwaite”, medan ”Welch” är namnet för en ”option” i GLM för ”flera stickprov” (jfr nedan). Satterthwaites namn brukar annars knytas till formeln för Welch-testets antal frihetsgrader (Wikipedia: Welch–Satterthwaite equation).

Excel: Supporten i Microsoft Excel för funktionen T.TEST säger otydligt om dess användning bara:

för att bestämma om två urval kan antas komma från samma underliggande populationer som har samma medelvärde (och motsvarande på engelska).

Man undrar bland annat om inte ”samma populationer” automatiskt innebär även lika varians. För att utföra testet skall man välja mellan ”lika varians” och ”olika varians”, så den underförstådda hypotesen avser nog ”lika medelvärden”. Mer information om testen ger inte denna support, men det finns gott om annan Excel-rådgivning på nätet om hur man skall tänka och agera. Den spretar mycket, förstås.

Konfidensintervall

Slutligen en anmärkning om konfidensintervall för väntevärdesdifferensen. Ett sådant för μ1 – μ2 utgörs av alla de δ-värden som inte förkastas vid test av H₀: ”μ1 – μ2 = δ”. För dessa test skulle vi behöva veta hur varianser (och frihetsgrader) beror av bl a δ. Om vi nu har en behandlingseffekt som syns på såväl väntevärde som varians, så behöver vi åtminstone i någon mån modellera hur variansen skall tänkas förändras med δ, innan vi kan konstruera ett konfidensintervall för δ. Detta är förstås vanskligt när vi bara har en enda behandlingsnivå. Även om det inte handlar om en behandlingseffekt, så måste vi vara beredda att modellera sambandet mellan väntevärde och varians, men då finns möjligheten att anta att samband saknas, dvs att de två skattade varianserna är giltiga oavsett väntevärdena. Särskilt om stickproven är små kan en sådan förutsättning dock kännas problematisk. Låter det trassligt? Mjukvaror ger enklare svar, t ex genom att förutsätta att varken σ1 eller σ2 beror på δ. Rimligt, eller ej? Avstår du från att granska deras modellering, så ligger väl ansvaret inte bara på mjukvaran? Motsvarande gäller förstås även ifall du anlitar AI för uppgiften.

Sammanfattning

* För det första har litteratur och mjukvaror i allmänhet glömt bort möjligheten att välja Fisher-hypotesen H₀: ”Ingen behandlingseffekt”, eller åtminstone glömt tala om konsekvensen därav, nämligen att rättfärdiga det klassiska t-testet även när de observerade stickprovsvarianserna är olika.

* För det andra råder en påfallande brist på samstämmighet i litteratur och mjukvaror om vad som är den rekommenderade testproceduren för test av H₀: ”Samma väntevärde”, från ”använd alltid Welch-testet” till ”välj test efter att ha pre-testat för lika varians”.

Jämförelse av flera stickprov

Som den första av flera naturliga generaliseringar ser vi kort på en välkänd utvidgning av två stickprov till flera stickprov. Standardtest för att jämföra flera stickprovsmedelvärden är ett inledande F-test inom den lineära ANOVAmodellen för ”ensidig indelning”, av H₀: ”alla väntevärden lika”. Analogt till t-testet för två stickprov, så skulle man kunna undra ifall vi inte då först borde godta att varianserna är lika, innan vi gör testet? Någon sådan motsvarighet till diskussionen för två stickprov brukar man dock inte se i litteraturen när det handlar om flera stickprov. Ett undantag är programpaketet SAS, med en option ”welch” i PROC GLM, som använder en utvidgning av Welch-testet.

I själva verket räcker det dock att hypotesen i stället formuleras enligt Fisher, för att F-testet skall vara giltigt, dvs H₀: ”alla stickproven kommer från samma (normalfördelade) population”. Om stickproven representerar olika behandlingar så kan denna H₀ formuleras: ”alla behandlingar är helt likvärdiga”.

Regression/korrelation

En annan generalisering av ”två stickprov”, som även den fått en annorlunda behandling i litteraturen, är ”beroende mellan två variabler” (beror y av x?). Enklaste statistiska modell för beroende är ”enkel lineär regression” (ELR) (se teoriruta). Om x är binär, t ex 0 och 1, så återfår vi ”två stickprov”. Men, som vi skall se, så har litteraturen om regression andra råd att komma med än den om två stickprov.

Om y beror av x undersöks typiskt inom ELRmodellen, och då genom att testa hypotesen H₀: ”β=0” med ett t-test, baserat på skattningen b. Men vad skall man då göra om data inte ser ut att följa ELR? Data kan se ut att mer motsvara ett krökt samband, och/eller ett samband där även variansen i y ser ut att variera med x. Skall man då, enligt algoritmen för ”två stickprov” ovan, först pre-testa, och kräva godtagbar linearitet och konstant varians, och kanske även kräva att x-värdena utgör ett normalfördelat stickprov (se korrelation nedan), innan man får t-testa H₀:”β = 0”? Litteraturen föreslår inte det. Typiskt underförstår den bara att ELR-modellen gäller, och formulerar testet inom den modellen. Det är alltför inskränkt tänkt, men proceduren kan rättfärdigas.

Förhållandet är analogt med det i ”två stickprov”. För att kunna stödja sig på t-testets starka egenskaper inom ELR, och för konfidensintervall etc, så behöver man visserligen godta ELR som modell för data. Men ELR krävs inte för att t-testet av oberoende skall vara korrekt, ty den kritiska fördelningen är den som gäller under H₀: ”y beror inte av x”, och då är kraven på linearitet och konstant varians automatiskt uppfyllda. Testet av oberoende har sin dokumenterade styrka mot rent lineärt beroende, men har styrka mot alla former av olineärt beroende som har en lineär komponent i sig (t ex monotont beroende). Den utvidgade giltigheten är praktiskt användbar, men i de vanliga läroböcker och aktuella beskrivningar på webben som jag lyckas finna, så har jag inte sett detta nämnas explicit. Testet används också (default) utan varningar i typiska programpaket för regression, tillsammans med konfidensintervall. Varningar behövs alltså inte heller för testet – däremot för konfidensintervall för β, som inte ens är meningsfulla utanför ELR-modellens linearitet.

När man har påvisat en signifikant lineär komponent genom t-testet, om inte förr, så kan det vara dags att söka en adekvat modell för detta beroende (genom variabeltransformationer eller icke-lineära funktionssamband). Med en ensam x-variabel kan detta lyckas, medan man i multipel regression typiskt får nöja sig med en approximativ, lineär modell. För fullständighetens skull, låt oss även se på det med regressionstestet besläktade men i dag mindre vanliga korrelationstestet. Som kanske är bekant, fås ELR-modellen ur bivariat normal för (x, y) genom betingning på x. Inom den bivariata normalfördelningen, med stickprovets korrelationskoefficient betecknad r, så är y oberoende av x om y och x är okorrelerade. Som Fisher visade redan 1915, så är då (n-2) r2 /(1-r2) kvadraten på en t-fördelad teststatistika, så även r kan användas för t-test av oberoende. Hur hänger det ihop? Mycket enkelt – det är samma test, fast uttryckt i olika modeller! Både den bivariata modellens r och regressionens b är baserade på kovariansen mellan x och y, normaliserad på lämpligt sätt. Men bivariat normal är ett onödigt och oönskat hårt krav – som dock missriktat förekommer bland användare.

Sammanfattning

Som test av om y beror av x tycks standarden vara t-test av hypotesen β=0 inom modellen ”enkel lineär regression” (ELR). Emellertid saknas ofta(st?) diskussion av vad man skall/får göra om denna modell inte passar till data, och ifall den behöver göra det. Däri skiljer det starkt från litteraturen om specialfallet ”jämförelse av två medelvärden”. I själva verket, om vi ser en olinearitet eller att variansen varierar med x, så är det en avvikelse både från ELR och från H₀: ”y beror inte av x”, men det hindrar inte t-testets giltighet under denna H₀, så skönt!

Slutord

I samtliga testsituationer ovan tycks litteratur och programvaror vara påfallande omedvetna om det jag kallat Fishers nollhypotes. Detta har i gengäld skapat onödiga validitetsproblem med t-test för modellreduktion, när observerade data inte tycks passa med en klassisk lineär modell. För ”två stickprov” har man genom åren tagit allvarligt på detta, och mer eller mindre starkt (och oftast onödigt) rekommenderat olika alternativa procedurer och test, medan man i de mer generella situationerna ”flera stickprov” och ”regression” inte har bekymrat sig så mycket. I stället tycks man typiskt ha inskränkt diskussionen till de lineära modellernas teori, utan att bry sig om att diskutera testens faktiska giltighet utanför grundmodellen.