Feilkildene må kartlegges for at vi skal kunne kompensere for dem i den grad det er mulig, samt for å vurdere hvor pålitelige funnene er. Dessuten er kartleggingen viktig informasjon når vi skal tolke og analysere resultatene etterpå. Det ”perfekte” datamaterialet finnes likevel ikke, fordi vi aldri kan gjenskape et bilde av virkeligheten som er virkeligheten. Det vil alltid være noe usikkerhet knyttet til om det vi har undersøkt, gir et riktig bilde av det vi har forsøkt å fange opp.

Vi kan sette opp tre hovedtyper av feilkilder: utvalgsfeil, målefeil og prosesseringsfeil.

Utvalgsfeil har sammenheng med måten deltakerne i utvalget er trukket ut på. For å kontrollere for, og ev. rette opp for, utvalgsfeil, bruker vi matematiske metoder. For eksempel kan et tilfeldig utvalg medføre at det er trukket litt for mange unge i forhold til gamle, eller litt for mange kvinner i forhold til menn. Dersom vi kjenner alders- og kjønnsfordelingen i den befolkningen vi ønsker å undersøke kan vi vekte utvalget slik at vi får riktig fordeling. Ofte vil vi også bruke såkalte stratifiserte utvalg, altså at det er trukket et visst (ofte likt) antall av ulike grupper (for at det skal være mange nok i hver av gruppene til at analysene kan gjøres for hver gruppe). For å lage statistikk for hele utvalget samlet må det da vektes tilbake til riktig fordeling.

Målefeil har sammenheng med at vi ikke måler det vi tror vi måler, eller hadde tenkt å måle. Den ene typen målefeil har sammenheng med at de som er intervjuet ikke alltid er representative for den gruppen vi ønsker å vite noe om: Det kan oppstå skjevheter i materialet fordi vi ikke får svar fra alle i utvalget, eller fordi noen ikke svarer på alle spørsmålene (frafallsfeil). Slike feil kan vi i noen grad kompensere for ved hjelp av vekter når skjevhetene er kjente. Vekting av denne type utvalgsfeil er imidlertid noe omdiskutert, fordi man da forutsetter at de som ikke svarer ville hatt samme svarfordeling som andre i ”sin” gruppe.

Den andre typen målefeil oppstår når vi får feil svar; enten fordi den som svarer misforstår, tipper eller lyver. Når spørreskjemaets eller spørsmålenes utforming gjør at respondentene tolker spørsmålene på forskjellig måte, eller at deler av utvalget systematisk misforstår visse spørsmål, er dette også målefeil. Slikt er vanskelige å rette opp for i ettertid; vi kan ikke vekte oss bort fra at halvparten av utvalget svarer på ett spørsmål, og den andre halvparten egentlig svarer på noe helt annet, selv om spørsmålene har samme nummer i rekkefølgen i skjema. Her gjelder det å forebygge ved å lage spørsmål som i størst mulig grad er entydige og dekkende for det vi opprinnelig ønsker å måle.

Dersom populasjonen består av folk med ulike språk (som i tverrnasjonale undersøkelser), folk med svært varierende kunnskaper i skjemaspråket, eller med bakgrunn i ulike kulturer, øker risikoen for denne typen målefeil (Cross-Cultural Survey Guidelines, 2008). Vi bør i utgangspunktet tilstrebe at hvert enkelt spørsmål har sammenlignbar validitet for de ulike kultur- eller språkgruppene i populasjonen. Skjemaene skal helst fungere på tilnærmet samme måte på tvers av populasjonen. Med fungere menes her måten de forstås og besvares på (Smith, 2004).

Prosesseringsfeil har sammenheng med at vi gjør feil i forbindelse med registrering, lagring eller bearbeiding av dataene vi har samlet inn. Noen ganger kalles dette innsamlings- og bearbeidingsfeil. Jo flere arbeidsoperasjoner datainnsamlingen består av, jo lengre og jo mer innvikla innsamlinger, jo større sjanse for at store og små feil oppstår i løpet av prosessen. Eksempler på slike feil kan være at vi roter bort ferdig utfylte spørreskjema, at nettstedet for mottak av elektroniske skjema ikke fungerer skikkelig, eller at intervjueren krysser av i feil rute under utfylling av et papirskjema.

Prosesseringsfeil kan vi sjekke for på flere måter. Vi kan ta stikkprøver fra ulike faser og kontrollere resultater som avviker fra det normale. Har vi manuelt registrerte skjema, kan det være aktuelt å dobbeltregistrere eller kontrollere svarene i et visst antall skjema for å se hvor stor feilmarginen er.

En annen tilnærming for å redusere effekten av denne feilkilden kan være at vi systematisk kartlegger påviste og antatte prosesseringsfeil gjennom tett oppfølging av innsamlingen. Dersom det brukes intervjuere kan disse følges opp ved hjelp av regelmessige møter, og vi kan kartlegge tilbakemeldingene de kommer med om hvordan undersøkelsen mottas, og hvordan ulike spørsmål i skjemaet fungerer. Vi kan også registrere og systematisere informasjon som måtte komme fra respondentene til dem som gjennomfører undersøkelsen.

Det er altså viktig å forsøke å identifisere og klarlegge omfanget av utvalgsfeil, målefeil og prosesseringsfeil, slik at man kan ta høyde for disse i analysen og tolkningen av funnene.

Det viktigste er å forebygge målefeil

Det viktigste er likevel å forebygge, og dette kan blant annet gjøres ved omfattende testing og utprøving av undersøkelsens ulike faser eller verktøy. Skjema må prøves og evalueres, og elektroniske systemer må testes, vi bør prøveregistrere og prøveanalysere. På den måten blir vi oppmerksomme på mulige feilkilder slik at vi kan fjerne dem før alvoret starter.

Mange av de potensielle målefeilene kan avdekkes i en pilotundersøkelse der vi tester ut datainnsamlingen på et lite utvalg. Da prøver vi innsamlingsprosedyrene, vi får tilbakemeldinger på hvordan informasjonsmaterialet virker, og vi får informasjon om spørreskjema og enkeltspørsmål måler det vi tenkte det skulle måle. Dersom vi planlegger godt og greier å nyttiggjøre oss resultatet fra piloten, kan vi spare ressurser siden.