måndag 24 maj 2010

Går det att lita på opinionsmätningar?

Kent Persson väcker frågan om det går att lita på opinionsmätningar och eftersom jag intresserat mig för statistik i samband med min medicinska forskning kan jag inte låta bli att anta utmaningen!

Mitt korta svar på frågan är JA.

Sedan kommer mina brasklappar: man måste känna till och förstå begränsningarna!

1. Eftersom stickprov görs finns risken för att de som väljs ut inte är representativa för hela befolkningen. Ett klassiskt exempel var när Roosevelt vann presidentvalet i USA på 30-talet. Opinionsundersökningar hade visat på jordskredsseger för hans motståndare, men man hade gjort telefonintervjuer och Roosevelts väljare var kraftigt underrepresenterat bland dem som hade telefon. Det finns tecken till att representativiteten vid telefonintervjuer håller på att förändras i takt med att fler och fler, speciellt yngre, inte håller sig med fast telefonlinje utan bara har mobiltelefon.

2. Förutom att man frågar ett representativt urval, så är det viktigt att man frågar tillräckligt många - annars kommer slumpen att få betydande inflytande på resultatet. Här finns ju det närmast "magiska" uttrycket "statistiskt signifikant". Om en förändring beräknats vara statistiskt signifikant innebär det att man beräknat risken, för att slumpen kunnat orsaka den skillnad man sett, till mindre än 5% - eller med andra ord: det finns en liten sannolikhet att även den observerade skillnaden bara beror på slumpen, men bara i 1 fall av 20 är en sådan skillnad beroende på slumpen. Det innebär alltså att även "statistiskt säkerställda skillnader" har en liten sannolikhet att ändå inte vara någon sann skillnad.

Var går då dessa gränser? det varierar med antalet utfrågade och med andelen "positiva".
Exempel (tabellen anger hur stor osäkerheten är i "andelen" - en "statistiskt säker" ändring innebär att nästa undersökning måste ha ett intervall som inte går in i detta intervall):
Antal utfrågade___30-procentsparti__4-procentsparti
_100_________________22-40_______________1,2-10,2
1000_________________27-33_______________2,9- 5,4
2000_________________28-32_______________3,2- 5,0
Om 2000 personer tillfrågats och ett parti gått från 4,1 % till 3,1% så är det ingen säkerställd skillnad - i grova drag krävs en skillnad på minst 1,8% om 2000 tillfrågats och 2,5% om om 1000 tillfrågats, om det ska vara en statistiskt säker skillnad.

Konsekvensen av dessa statistiska beräkningar är alltså att även de stora variationer som setts för till exempel SD kan beror på slumpen. En förändring i skillnad mellan blocken på 4-procentenheter kan bero på slumpen - vilka som blivit tillfrågade vid de olika tillfällena!

Till detta kommer att de flesta instituten numera lägger in "osäkra" röster, dvs en person som säger jag vet inte, får då följdfrågan: ja, men vilken ligger närmast nu? För ett antal år sedan fanns den en stapel vid sidan om de övriga - "osäkra väljare". Dessa är nu inlagda i respektive partistapel och är ytterligare en förklaring till de stora variationer som ses från gång till gång.

Slutligen: det kan skilja på hur frågan ställs:
Vilket parti tänker du rösta på i valet?
Vilket parti skulle du rösta på om det var val idag?
Vilket parti tycker du är bäst?

---

SvD, Expressen

---

Inga kommentarer: