Hvor høy svarprosent man lykkes med å oppnå er delvis et ressursspørsmål: hvor mange forsøk på kontakt tillater budsjettet for undersøkelsen, og hvor store midler er satt av til informasjon om og forankring av undersøkelsen i de gruppene som skal undersøkes.

Hele datainnsamlingen, fra planlegging til klargjøring av filer for analyse, kan ses som en prosess der vi ved hjelp av ulike tiltak søker å få inn flest mulige svar med best mulig kvalitet – innenfor de ressursrammene vi har tilgjengelige. Jakten på høy svarprosent bør jo helst ikke trekkes så langt at vi sprenger budsjettet. Det gjelder å få best mulig kvalitet for de pengene og med de menneskene vi har, og styre datainnsamlingen best mulig. I praksis betyr dette at virkemidlene for å oppnå den optimale svarprosenten varierer fra undersøkelse til undersøkelse. Det finnes en rekke aktuelle tiltak som kan benyttes i forskjellige situasjoner, avhengig av hva som er de mest kritiske forhold i hver undersøkelse.

Den endelige svarprosenten i alle spørreundersøkelser vil blant annet avhenge av fire forhold;

  • valg av datainnsamlingsmetode
  • hvor god kontaktstrategien er
  • hvor godt spørsmålene og spørreskjemaet er utformet
  • og datainnsamlingsprosedyrene

Hva kan vi trekke fram som særlig viktige tiltak i undersøkelser der en stor del av populasjonen er innvandrere? Lang datafangstperiode, gode kontaktstrategier, effektive systemer for purringer/tilbakeringing, lettfattelig og god informasjon om hensikten med undersøkelsen, (annen) tillitsbygging, gode spørreskjema som kommuniserer på en effektiv måte med respondentene, dyktige intervjuere og tema som oppfattes som viktige og relevante av respondentene; alt dette vil ha betydning for svarprosenten.

Når svarprosent og -tilbøyelighet varierer betydelig mellom ulike grupper i samme undersøkelse kan dette for eksempel skyldes ulik kunnskap om og tillit til norske institusjoner; ofte kalt byråkratisk kompetanse, eller ulikheter i tillit til og vurderinger av undersøkelsen; dens tematikk, dens ”eiere” eller dens gjennomføringsopplegg. Varierende svartendens og –tilbøyelighet mellom ulike etniske grupper eller bakgrunnsland kan også ha sammenheng med ”vanlige” bakgrunnsvariabler. I tillegg til landbakgrunn korrelerer frafallet ofte med utdanning, sysselsetting, kjønn, alder og botid.

Tema for undersøkelsen er viktig for svartendens

Temaet for undersøkelsen regnes som viktig for svartendensen, i den forstand at negative tema (for respondentene) eller særlige sensitive spørsmål regnes som problematiske. I en tematisk bred undersøkelse kan det dessuten være et betydelig omfang av nekting på enkeltspørsmål. Særlig tema som har med økonomi og husholdssammensetning å gjøre kan være problematiske. Også temaer som oppleves som kontroversielle eller som har gitt en eller flere innvandrergrupper negativ oppmerksomhet vil være vanskelige å få svar på. Dette kan gjelde for eksempel overføring av penger til hjemlandet, arbeidsledighet og arrangerte ekteskap. Tilbakemeldinger fra intervjuerne i surveyer gjennomført i løpet av det siste 10 årene tyder på en dreining i respondentenes innstilling, fra at de ga klart uttrykk for at de var glade for å bli spurt, til en større skepsis knyttet til hva resultatene skal brukes til og bekymring for hvilke debatter de kan utløse.

Det bør utformes god informasjon om undersøkelsen som kan formidles både skriftlig og muntlig. Respondentene må få informasjon om hva svarene skal brukes til og at de skal behandles konfidensielt. I noen tilfeller kan det også være hensiktsmessig å ta i bruk kontakter i innvandrerorganisasjoner for å forankre undersøkelsen. Husk imidlertid på at det finnes en rekke ulike organisasjoner og at ikke alle har et godt forhold til alle organisasjoner.

Aktiv frafallsoppfølging kan også gi økt målefeil

Stor mobilitet i mange minoritetsgrupper påvirker altså våre muligheter til å finne fram til respondentene, og til å komme i kontakt med dem når bosted er kjent. Å finne fram til folk kan definitivt kalles en kritisk suksessfaktor for å oppnå høy svarprosent i spørreundersøkelser blant minoritetsbefolkningen. Vi får mye igjen for å ha gjennomtenkte kontaktstrategier. Ved besøksintervju og telefonintervju bør det tenkes igjennom når på døgnet det er mest hensiktsmessig å kontakte folk, og hvor mange ganger hver respondent skal forsøkes kontaktet.

Aktiv frafallsoppfølging for å få tak i flere ”hard-to-gets” kan også ha negative konsekvenser, i form av at omfanget av målefeil øker. Dette skjer dersom dem vi får svar fra i de siste innsamlingsrundene systematisk gir data med dårligere konsistens eller mer partielt frafall (at enkelte spørsmål i skjema står ubesvart). Dersom spørsmålene eller språket i skjemaet er vanskelig å forstå, eller skjemaet er vanskelig å fylle ut på egen hånd, vil en del av de siste respondentene vi får fatt i antakelig være sårbare for å droppe enkeltspørsmål, eller misforstå spørsmål. Den billigste måten å unngå dette på er å lage gode spørsmål og velfungerende spørreskjema fra start. Da må skjemaene testes før start.

Økonomiske insentiver er blitt mer vanlig, men er omdiskutert

Tiltak for å øke svartilbøyeligheten kan være alt fra god og forståelig informasjon om undersøkelsen, til ulike varianter av overtalelse og belønning. Betaling av informanter er blitt et stadig mer aktuelt tema etter hvert som svartilbøyeligheten i generelle befolkningsundersøkelser har sunket. Ulike varianter av betaling (lodd, gavekort, kontanter) er anvendt i flere undersøkelser av innvandrergrupper i Norge. Det er etter hvert en omfattende litteratur som dokumenterer at økonomiske insentiver kan ha stor positiv effekt på svarprosenten. Betaling av informanter er likevel fortsatt kontroversielt i en del forskningsmiljøer. I denne sammenheng kan det være rimelig å peke på at andre overtalelsesteknikker enn økonomiske insentiver også kan være etisk problematiske, for eksempel at overgangen mellom etisk forsvarlig tillitsbygging og uetisk ”friendship faking” kan være glidende og vanskelig å identifisere.

En metode som kan anvendes for å vurdere om det bør iverksettes ekstratiltak for å øke svarprosenten er å undersøke om det er en sammenheng mellom hvor vanskelig det er å rekruttere respondentene og hva respondentene svarer. Dersom de sist rekrutterte respondentene tydelig tipper estimatene i en ny retning kan det være grunn til å fortsette datainnsamlingen. Det kan også utvikles metoder for å vekte resultatene ved hjelp av de sist innkomne resultatene.

Viktig å tenke over strategi for å imøtekomme språkproblemer

Betydningen av oversatte skjemaer vil åpenbart ha sammenheng med hvilke innvandrergrupper som er i målgruppen for undersøkelsen. Hvis man ønsker å intervjue nyankomne flyktninger er oversetting en nødvendighet. I kartlegginger av mer etablerte innvandrergrupper vil manglende oversetting kunne gi underrepresentasjon av personer med svake norskferdigheter. Svake norskferdigheter er utbredt også i enkelte etablerte innvandrergrupper.

På den annen side kan det faktisk også skje at enkelte respondenter blir irritert over å bli tiltalt eller tilskrevet på sitt morsmål, særlig gjelder dette personer med lang oppholdstid og som opplever seg selv som mer eller mindre norske. Det kan derfor være en god idé å sende ut eventuelle informasjonsbrev på både norsk og respondentens morsmål, og så la respondenten velge hvilket språk skjemaet skal være på. Dersom det skal benyttes intervjuere må et tilstrekkelig antall av disse kunne gjennomføre intervjuene både på respondentenes morsmål og på norsk. I slike tilfeller er det viktig å inkludere opplysninger om språk på skjema/intervju i selve datamaterialet, slik at man senere kan sjekke om det er sammenheng mellom svarmønster, frafall på enkeltspørsmål og språkvalg. På den måten får man gode muligheter for å vurdere konsistens og kvalitet i skjemaets innhold på tvers av de ulike versjonene.

Valg av strategi for å møte språkproblemer er en svært viktig del av undersøkelsesopplegget. Utgifter til, og arbeidet med, oversettelser og tolker eller egne intervjuere er betydelig. Det kan være mye å vinne på å konsentrere utvalget til å omfatte et visst antall land eller språkgrupper.

Gode oversettelser er dessuten viktig ikke bare for svarprosenten, men også for at spørsmålene skal bli forstått og dermed besvart mest mulig korrekt.

Kvalitetssikring av oversettelser, intervjuguider samt av opplæringen av intervjuere er av avgjørende betydning. I tillegg må det nedlegges et betydelig arbeid i å forsøke å finne ut av eventuelle kulturforskjeller i begrepsforståelse og svaring. Flere undersøkelser nevner dette problemet, og det rapporteres at det kan være problemer også med relativt enkle begreper og uttrykk. Spesielt holdningsspørsmål kan være vanskelige å oversette og bør derfor testes grundig.

Oppsummeringsvis kan vi si at de viktigste tiltakene for å øke svarprosenten er:

  • God informasjon om hensikten med undersøkelsen og hva svarene skal brukes til, herunder hvordan svarene skal presenteres. Anonymitet og taushetsplikt er viktige tema.
  • Solid opplæring av intervjuere i hvordan de skal gå fram i kontakt med respondentene, og hvordan de skal presentere undersøkelsen. Gjerne intervjuere med samme bakgrunn som respondentene.
  • Gode kontaktstrategier og gjentatte forsøk på å komme i kontakt med alle respondentene i utvalget. Lang datafangstperiode om nødvendig. I flere innvandrergrupper er det vanlig med lange opphold i opprinnelseslandet. Dessuten kan det være grunn til å legge undersøkelsene utenom spesielle høytider.
  • Kombinasjon av ulike datafangstmetoder: Telefon, oppsøkende intervju, web osv.
  • Omfattende forarbeid og testing av skjema, slik at spørsmålene er forståelige, relevante og i hvert fall ikke støtende. 
  • Økonomiske eller andre insentiver – ”betaling” for den tiden respondenten setter av for å delta i undersøkelsen. 
  • Gode oversettelser til de aktuelle språkene dersom norskferdighetene til målgruppa er et hinder for datafangst på norsk.
     
  • Les videre: Litt om målefeil