Vi vil aldri få svar fra alle som er trukket ut til å være med i en undersøkelse. I tillegg til det som kalles avganger (personer som er trukket ut, men som ikke tilhører målgruppa for undersøkelsen, se eget kapitlet foran) vil det alltid være personer som ikke ønsker å være med, som er forhindret fra å være med, eller som ikke vi finner fram til. Dette kalles frafall. Når vi gjennomfører en spørreundersøkelse ønsker vi primært å oppnå så høy svarprosent som mulig, altså å få inn svar fra flest mulig i utvalget. Parallelt ønsker vi å redusere frafallet som mye som mulig.

Svarprosenten i en undersøkelse beregnes etter at de såkalte avgangene (men ikke de man av ukjente grunner ikke har oppnådd kontakt med enda) er tatt ut av beregningsgrunnlaget. Da gjenstår et ”renset” bruttoutvalg, altså alle som er trukket ut til å svare minus avgangene.

  • Svarprosent=(antall svar/ bruttoutvalg)*100

Listen (og detaljeringsgraden) over hva som bør være gyldige frafallsårsaker kan bestemmes ut fra undersøkelsens tema og målgruppe. Vi anbefaler å skille mellom;

  • dem som ikke vil være med (ofte kalt ”nektere”)
  • dem som forhindres av årsaker som de selv ikke rår over (sykdom, ulykke, språkvansker, andre hindringer)
  • dem man ikke får kontakt med (og gjerne også hvorfor man ikke får kontakt med dem).

Når det gjelder utvalg med en stor andel innvandrere kan det være interessant å notere i hvilke grad språkvansker formidles som en årsak til at respondenten ikke kan være med, og eventuelt hvem som formidler dette. Språkvansker kan strengt tatt tolkes på flere måter; som en praktisk hindring, som en avgangsårsak (”de som ikke forstår norsk er pr definisjon ikke med i målpopulasjonen”), og som et kontaktproblem. Det kan også ses som et uttrykk for at respondentene (eller andre i deres nærhet) ikke ønsker å være med. I praksis ser vi at andre familiemedlemmer enn den som er trukket ut, forklarer frafallet med at ”NN snakker ikke norsk godt nok til å være med”.

Det er altså viktig å ha tenkt igjennom hvilke kategorier for inndeling av frafallet som kan være nyttig i ulike sammenhenger/i ulike populasjoner. Med god frafallsinformasjon på plass kan vi lettere gjennomføre en frafallsanalyse som gir oss verdifull informasjon om kvaliteten på dataene.

Hvorfor er det så viktig å følge med på frafallet? Med frafall mister vi på sett og vis kontroll over trekkemekanismene. Man kan tenke seg at det ”teoretiske” forholdet mellom populasjonsstørrelsen og utvalgsstørrelsen blir forskjøvet fordi ”virkeligheten” spiller inn med sine ukjente faktorer. Hvem blir til syvende og sist med, hvem blir ikke med, og hva er det som kjennetegner dem som ikke blir med? I hvor stor grad vil dette ha betydning for estimatene?

Det er hovedsakelig tre problemer som oppstår som følge av høyt frafall;

  • Estimatene blir skjeve dersom frafallet er skjevt. Jo større frafall, jo større muligheter for skjevheter (selv om det ikke er sikkert at det er skjevt). Dette innebærer også skjevheter langs kjennetegn vi kanskje ikke har identifisert.
  • Dataene kan gi oss dårligere estimater fordi variansen øker. Sagt på en annen måte: usikkerhetsmarginene kan øke.
  • Undersøkelsen blir dyrere å gjennomføre – dersom man har minimumskrav for hvor høy svarprosenten bør være.

Små utvalg er spesielt sårbare for frafall

Problemet med økt varians kan vi møte ved å øke utvalgsstørrelsen; små utvalg er mer sårbare ved høyt frafall. Dersom vi har et utvalg på 500 personer og frafallsandelen kommer over 50 prosent vil vi ha maksimum 250 personer i nettoutvalget; vanligvis atskillig færre fordi noen også ”forsvinner” i avgang. I analysen vil vi gjerne bryte ned utvalget etter kjønn (om lag 125 av hvert kjønn), og deretter i for eksempel fire aldersgrupper, eller etter andre kjennetegn med et visst antall verdier, for kvinner og menn. Vi kommer raskt i en situasjon der det absolutte antall personer i gruppene med en viss kombinasjon av kjennetegn blir for lite som grunnlag for analyser. En vanlig tommelfingerregel er at man ikke bør publisere relative eller absolutte resultater som bygger på mindre enn 25 personer i hver celle i en tabell.

Det andre problemet med frafall er altså de mulige skjevhetene. Lav svarprosent øker usikkerheten i materialet, men er ikke i seg selv avgjørende for skjevheten. God rapportering av frafallsinformasjon kan imidlertid si oss noe om eventuell skjevhet i forhold til på forhånd kjente karakteristika, som for eksempel kjønn eller alder. Dermed kan vi vurdere om kvinner eller eldre er over- eller underrepresentert i undersøkelsen (i forhold til i bruttoutvalget). Men hvor store er forskjellene mellom de som svarer og de som ikke svarer når det gjelder andre, mer skjulte forhold (som for eksempel vurderingen av en tjeneste)? Dette kan variere fra undersøkelse til undersøkelse, og fra tema til tema. Typisk vil vi ikke vite akkurat hvor skjevt frafallet er, og konsekvensene dette har for estimatene, men ved hjelp av frafallsinformasjon og bakgrunnsinformasjon kan vi likevel resonnere og vurdere rundt hvor gode disse estimatene er.

Svartilbøyeligheten – hvor mange svarer av dem vi faktisk har spurt?

Mens nekting (altså lav svartilbøyelighet) gjerne er den viktigste årsaken til frafall i surveyer i majoritetsbefolkningen, er problemer med å komme i kontakt med respondentene (finner ikke telefonnummer, svarer ikke på telefon, ikke hjemme ved besøksintervju) en dominerende årsak til frafall i flere innvandrergrupper. Derfor er det interessant (og stadig mer vanlig) også å beregne svartilbøyeligheten, som er andelen svar etter at de det ikke er oppnådd kontakt med er trukket vekk fra bruttoutvalget.

  • Svartilbøyelighet=((antall svar/(bruttoutvalg-ikkekontakt))*100

Stort omfang av nekt kan gi en annen type skjevhet enn stort omfang av ”ikke kontakt”, og det er ulike strategier som må til for å redusere de to typene frafall. Det første har å gjøre med hvordan vi greier å motivere respondentene til å ville være med på undersøkelsen, det andre har å gjøre med hvordan vi finner fram til dem, altså kontaktstrategier og muligheter for å spore opp folk. Uansett er det nyttig med et mål for frafall som gjør det mulig å sammenlikne villigheten til å svare på tvers av grupper med svært ulikt frafall som følge av at det er vanskelig å oppnå kontakt.

Beregning av svartilbøyelighet gir oss verdifull innsikt i undersøkelsenes kvalitet, og kanskje også i forskjellene mellom ulike bakgrunnsland i forhold til det å svare på spørreundersøkelser. Forskjellene kan likevel ikke uten videre tilskrives ”kultur”, siden det er mange andre forhold som også varierer mellom gruppene, slik som utdanningsnivå, tid i Norge og politiske forhold i eksillandene. Dessuten vil selve temaet for undersøkelsen ha betydning for svartilbøyeligheten i ulike grupper av respondenter. Forskjellige undersøkelsen kan vise ulike mønster for svartilbøyeligheten i en og samme landgruppe.