DR-ledelsen bærer ansvaret for Epinions fatale exitpoll

Hvis ikke der stilles strengere krav til analyseinstitutterne, fristes ejerne til at skære interviewomkostningerne ned til fordel for bundlinjen. En øvelse der altid vil ske på bekostning af kvaliteten. DR’s fejlagtige exit poll (eller ”exit prognose”) er resultatet af mange års dalende kvalitetskrav fra medierne, som primært har efterspurgt hurtige undersøgelser og lave priser.

Voxmeter ønsker, at der stilles strengere krav til analyseinstitutterne – ikke mindst omkring gennemsigtighed omkring interviewmetode. Derfor har Voxmeter taget initiativ til stiftelsen af en ny brancheforening, hvis formål er at udarbejde en hvidbog til brug for journalister og analyseindkøbere. Brancheforeningen vil være åben for analyseinstitutter, medier og analyseindkøbere. Voxmeter udsender information herom i starten af december.

Survey to hell

Problemet ved hovedparten af de undersøgelser, som citeres i medierne, er, at de ikke giver et retvisende billede af virkeligheden. Præcis som det på mest skræmmende vis blev illustreret af DR’s exit poll. Endnu værre står det til med dagligdagens undersøgelser, hvor kvaliteten sjældent kommer for dagen, fordi de ikke er til eksamen på samme måde som ved DR’s exit poll. Hovedparten af alle de svarpersoner, der indgår i undersøgelser, er rekrutteret via annoncer og er motiveret af muligheden for at vinde præmier. Svarpersoner som på eget initiativ tilmelder sig undersøgelser, enten via pop-up, hvor man opfordres til at teste en hjemmeside eller direkte via bannerreklamer på eksempelvis Facebook. Problemet ved den slags rekrutteringsmetoder er, at man tiltrækker den samme lille gruppe mennesker, som ophøjes til at repræsentere dig og mig – og hele den øvrige befolkning. Mediernes tilsidesættelse af kvalitet har igennem et årti ført til en blåstempling af de ’billige undersøgelser’. Derfor efterspørges misvisende undersøgelser i stigende grad af både valgforskere, økonomer og forskningsinstitutioner. Når der fifles med kvaliteten i en branche, skyldes det som altid, at der er penge på spil. Analysemarkedet omsætter for milliarder af kroner alene i Danmark. Derfor er der stor konkurrence – en konkurrence, der er blevet intensiveret under krisen, fordi både reklame-, medie- og kommunikationsbureauer har meldt sig på analysebanen med det formål at kapre markedsandele. Dette resulterer i endnu mere mangel på kontrol og åbenhed, hvilket skaber yderligere uigennemsigtighed omkring indsamlingsmetoder og kvalitet. Derfor danner misvisende undersøgelser grundlag for mange beslutningstagere, der i god tro træffer vigtige beslutninger om forhold indenfor danskernes relation til politik, sundhed, uddannelse, livsstil, økonomi, forbrugsmønstre, bekymringer, kundetilfredshed, etc.

Man kan håbe på, at DR’s exit poll kan medvirke til, at de ansvarlige analyseindkøbere får øjnene op. For hidtil har kritikken været stort set umulig at få igennem, da problematikken dels opleves usexet og dels strider imod kravet om hurtige og billige undersøgelser. Men DR’s exit poll viste på skræmmende vis, hvor galt det kan gå: at landets statsminister gik på talerstolen for at beklage et nederlag, som viste sig at være en halv sejr og at landets morgenaviser trykte misvisende forsider. Konkurrencen på analysemarkedet er i dag så intens og antallet af paneler i Danmark så stort, at den samme ene procent af befolkningen, besvarer hovedparten af alle kvantitative undersøgelser. Alt sammen for at man hurtigt og billigt kan fremtrylle 1.000 personer, der står klar til at besvare dine spørgeskemaer. Alt hvad det koster er en mindre annoncepris eksempelvis på Facebook eller en pop-up, hvor man tester hjemmesider for eksempelvis DMI, SKAT, Krak, m.fl. samt en ubetydelig udgift til præmier. Således underminerer misvisende undersøgelser demokratiet, som i dag domineres af en lille gruppe mennesker, der bedst kan karakteriseres som ”aktører i den moderne bingohal”.

Forudsætningen for en valid repræsentativ undersøgelse er, at alle i universet har haft lige stor chance for at blive udvalgt og hørt. Derfor ligger djævlen begravet i den tilfældige udvælgelse! Hvis en undersøgelse skal kunne deklareres med en ”statistisk usikkerhed”, er det en forudsætning at overholde princippet om ”tilfældig udvælgelse” og sikring af en ”høj opnåelse”. Sidstnævnte vil sige at få flest mulige personer ud af bruttostikprøven til at deltage. Her er der nogle strukturelle problemer med internettet. For selvom 89 % af den danske befolkning har adgang til internettet, er internetmålinger behæftet med stor usikkerhed. Det skyldes, at den gruppe på 11 %, som ikke har internetadgang, har særegne karakteristika når det gælder adfærd, holdninger, økonomi og sundhedsforhold, mv. Samme karakteristika, som går igen blandt ca. 23 % af dem, som har internetadgang, men som kun anvender internettet sjældent. Et andet problem er de ca. 20 % af den danske befolkning, som ifølge Dansk Sprognævn har svært ved at læse og forstå en simpel tekst. Problemer som bliver endnu mere alvorlige, når man rekrutterer svarpersonerne via annoncering med præmier. Man behøver blot at stille sig selv spørgsmålet; Hvilke persontyper melder sig (på eget initiativ) til at besvare spørgeskemaer i håbet om at vinde gavekort… Er det den travle forælder, den hårdtarbejdende håndværker eller den højtlønnede direktør? Flere institutter forsøger at klare skævvridningen med datavejning og forvandler rask væk en kvinde på 52 år i Esbjerg, til en mand på 18 år i Svendborg. Men uanset hvor opfindsomt man argumenterer for det, er og bliver det alkymi. Mange af de skyldige institutter forsvarer deres metode ved studier, der er gennemført i eksempelvis USA eller England. Men forholdende i disse lande, adskiller sig markant fra Danmark, hvor man eksempelvis ikke har slidt respondenterne ned på grund af tilladelsen af ’robotter’ der automatisk ringer borgerne op, både i salgs- og undersøgelsessammenhæng. Derfor er man i disse lande henvist til den mindst dårlige metode, som oftest er internettet. Mange steder har man dog erkendt problemerne ved internetmetoderne og man er ved gennemførelse af seriøse undersøgelser, i stigende grad vender tilbage til de gamle metoder, enten halltest eller besøgsinterview (face2face).

Undersøgelser gennemført via telefon er ikke nødvendigvis bedre. Som det gælder i alle brancher, handler det lige så meget om hvilken håndværker der håndtere værktøjet! Analysebranchen har igennem de seneste 20 år, suverænt overgået bankernes evne til at ødelægge deres eget renommé! Op igennem 90’erne så man bænkevis af fabrikslignende telefon-akkord-interviewere, som forårsagede sjusk og snyd – og respondenter som fik ubehagelige oplevelser. I starten af 00’erne kom internetanalyseinstitutterne, som med rette kunne kritisere telefoninterviewene. Og herfra udviklede analysebranchen sig fra ”skidt” til det rene ”kaos”!
Men forudsat at det gøres ordentligt, er telefoninterview fortsat den mindst upræcise metode i Danmark. En høj kvalitet forudsætter, at medarbejderne ikke aflønnes via akkord- eller bonusordninger, men via fast timeløn og gennemgår en grundig uddannelse. Og så kræver det et velfungerende effektivt kvalitetssikringssystem. Ønsker man at benytte web-interview, bør respondenterne være rekrutteret via repræsentative telefonscreeninger, hvor alle i bruttostikprøven er tilfældigt udvalgt blandt samtlige telefonnumre, både blandt stationære- og mobile telefonnumre.

 
 

Christian Stjer
Af Christian Stjer, adm. dir. Voxmeter.
Klik her for at gå tilbage til blogoversigten.


Min
Twitter

Min
LinkedIn

Voxmeter
Facebook

Tilmeld
Nyhedsbrev