Et vanlig krav er at enhetene (for eksempel personene) vi ønsker å måle, trekkes ut slik at det er en kjent sannsynlighet for at de blir med i utvalget. Vi ønsker ofte at undersøkelsene skal ha et sannsynlighetsutvalg.

Trekking av utvalg fra register

Dersom man har et register (en oversikt med kontaktdetaljer) for enhetene, er det relativt enkelt å lage en utvalgsplan som gir et sannsynlighetsutvalg. Et slikt register kan for eksempel være det sentrale folkeregisteret. I brukerundersøkelser er ofte et register over brukere utgangspunktet for trekking. Gjennom å trekke inn opplysninger om innvandring eller landbakgrunn fra andre registre kan man trekke utvalg som består av personer med bakgrunn fra visse land eller visse regioner. I tillegg til Statistisk sentralbyrå har EDB business partner Norge AS tillatelse til å administrere og trekke utvalg fra folkeregisteret.

Kvaliteten på de registrene vi trekker fra er avgjørende for å unngå utvalgsfeil (se under). Dersom trekkeregistrene inneholder personer som egentlig ikke skulle vært med i utvalget fordi de faller utenfor undersøkelsens målgruppe (for eksempel utvandra personer), eller at trekkeregisteret mangler et visst antall personer som skulle vært med (innvandrere som ikke står oppført i folkeregisteret), kan vi si at vi får dekningsfeil pga dårlig registerkvalitet.

Varierende registerkvalitet for intern flytting og utvandring

I Norge er det en utbredt holdning at folkeregisteret holder høy kvalitet sammenlignet med andre land. Når det gjelder dekningen av ulike minoritetsgrupper som oppholder seg i Norge er kvaliteten også regnet for å være god, vel og merke når det gjelder fødsel og død. Opplysninger om intern flytting og utvandring er imidlertid av mer varierende kvalitet. I praksis betyr dette at boligadresser ofte ikke stemmer med reell oppholdsadresse for mange personer med innvandrerbakgrunn. I tillegg er det ofte slik at personer som i realiteten er utvandret, eller som befinner seg utenfor landet for mer enn seks måneders opphold, fremdeles står oppført som boende i Norge.

Manglene i folkeregisteret får konsekvenser både for besøksundersøkelser, ved at intervjuerne ikke treffer folk hjemme der hvor de offisielt skal være bosatt, og i postale undersøkelser, ved at postsendte skjema sendes i retur. I telefonsurveyer der det trekkes fra andre registre enn telefonkatalogen medfører det problemer med nummersettingen. Dette har både økonomiske og kvalitetsmessige konsekvenser for undersøkelser blant minoritetsbefolkningen. Utgifter til oppfølging for å heve svarprosenten øker. I neste omgang betyr manglene at den statistiske kvaliteten på undersøkelsen reduseres.

I brukerundersøkelser som tar utgangspunkt i et register over faktiske brukere av en tjeneste kan problemene med dekningsfeil forventes å være mindre, siden registrerte brukere i større grad må forventes å befinne seg i landet, samt ha bedre oppdatert kontaktinformasjon.

Mangler et register, må utvalgsplanen gi oss en oppskrift for hvordan vi skal trekke et tilfeldig utvalg blant enhetene. Dette kan gjøres ved at man eksempelvis velger ut hver n-te besøkende på et offentlig kontor, eller mer kompliserte beskrivelser av hvilke boenheter og individer som skal oppsøkes ved besøksintervju.

Når undersøkelsen starter må det føres nøye regnskap over hvor mange som svarer på undersøkelsen, hvor mange som unnlater å svare, og helst også av hvilke grunner. Dette bør seinere dokumenteres, slik at også andre får mulighet til å vurdere datamaterialets kvalitet. Vi kommer nærmere inn på systemer for å registrere ulike former for manglende retur av skjemaene nedenfor. I planleggingen av undersøkelsen er det imidlertid viktig å tenke nøye gjennom hvordan håndteringen av retur skal være, og hvordan oppfølging av manglende retur skal foregå.

Stratifisering

Noen ganger er det riktig å stratifisere utvalget. Med dette mener vi å gruppere sammen enheter i utvalget i ulike kategorier etter hvilke verdi de har på visse variabler. Verdiene må være kjent på forhånd. Så trekker man ut et visst antall enheter til separate utvalg for hvert stratum eller hver gruppe.

På denne måten sikrer vi at selv små grupper er tilstrekkelig representert i utvalget. Eksempler på slike stratifiseringsvariabler kan være kjønn, alder, landbakgrunn eller bosted. Ofte kombinerer vi flere variabler når vi bestemmer strata, for eksempel alder og kjønn; unge kvinner, eldre kvinner, unge menn, eldre menn. Stratifisering er gjort i mange innvandrerundersøkelser. Det vanligste er å stratifisere etter landbakgrunn, slik at en sikrer seg et visst antall respondenter fra hver landgruppe. I noen undersøkelser er det trukket et likt antall respondenter fra hver landgruppe, men i andre er det trukket flere i de gruppene der en forventer høyt frafall, slik at nettoutvalgene skal bli mest mulig like.

Avgang

Avgang defineres som den delen av utvalget som etter hvert viser seg likevel ikke å tilhøre populasjonen for den aktuelle undersøkelsen. Eksempler på dette kan være at undersøkelsen kun er ment å omfatte personer med bakgrunn fra Polen. Etter at utvalget er trukket og man har kontaktet respondentene viser det seg at det finnes personer i utvalget som er trukket ut med bakgrunn fra Russland i stedet for Polen. Disse skal da ikke svare på spørreskjemaet, og heller ikke inngå i bruttoutvalget som man beregner svarprosenten ut fra.

Flyttinger eller utvandring som ikke er registrert i folkeregisteret har betydning for størrelsen på avgangen, fordi personer som er trukket ut viser seg ikke å være i målgruppen for undersøkelsen. Dersom vi får melding om at personer i utvalget er flyttet ut av landet, registreres det som avgang, og størrelsen på bruttoutvalget reduseres. Dermed får det også betydning for størrelsen på frafallet, og dermed svarprosenten, i undersøkelsen. Flere avgangstilfeller gir dermed høyere svarprosent, mens flere frafallstilfeller gir lavere svarprosent.

Forskjellen mellom avgang og frafall

Avgjørende for om et tilfelle kategoriseres som avgang eller frafall er vanligvis* hvorvidt man kan si med sikkerhet at vedkommende tilhører utvalget eller ei. Personer som viser seg å være døde, eller som vi med sikkerhet vet har utvandret fra landet, karakteriseres som avgang. Da skal vedkommende ut av bruttoutvalget. Respondenter som vi ikke får fatt i, men som vi heller ikke har sikre opplysninger om har flyttet, kalles frafall.

Definisjonene av hva som er henholdsvis frafall og avgang varierer imidlertid mellom ulike statistikkprodusenter. Dette har betydning for beregningen av svarprosenter: dersom personer man ikke har oppnådd kontakt med defineres som avgang blir svarprosentene betydelig høyere. For å vurdere kvaliteten på dataene er det derfor nødvendig å sette seg inn i definisjonene som er lagt til grunn for beregningen av svarprosent. Vi kan uansett konkludere med at det er viktig å få mest mulig informasjon om årsaken til at man ikke får fatt i respondenter. På den måten unngår vi lavere avgangstall enn strengt tatt nødvendig.

I SSB er definisjonen på avgang i innvandrerundersøkelsene at personen er registrert bosatt i utlandet for minst 6 måneder, at han/hun bor på institusjon i minst 6 måneder, at personen viser seg å ha ”feil” landbakgrunn eller er død (begge skyldes feil/oppdateringsgap i folkeregisteret). Personer som er innlagt på vanlige sykehus, som bor i fengsel, militærforlegning eller på internatskole skal i prinsippet være med i undersøkelsene. Hvor strengt dette med avgang defineres bør gjenspeiles av ressurstilgang og formål med undersøkelsene. Når man først har satt en definisjon for hvem som tilhører og ikke tilhører populasjon og utvalg, bør man imidlertid holde seg til denne både under datainnsamlingen og i frafallsanalysen etterpå.

Avgang blant ulike landgrupper

Hvilke landgrupper har erfaringsmessig de høyeste avgangstallene? I SSBs levekårsundersøkelse blant innvandrere fra 2005/2006 er det utvalgene med bakgrunn fra Pakistan og Somalia, der hele 9 prosent av utvalgene ender opp som avgang. I ungdomsundersøkelsen fra 2006 har Pakistan 8 prosent avgang, Tyrkia 4 prosent, og Vietnam 2 prosent. De laveste avgangsandelene i LKI 2005/2006 finner vi i utvalgene med bakgrunn fra Bosnia-Hercegovina, Serbia og Montenegro, Vietnam og Irak (under 3 prosent avgang).

Høye avgangstall henger ofte sammen med mobilitet; flytting innad i Norge, og opphold i utlandet. I grupper med høy mobilitet er gjerne avgangen underestimert, fordi flyttingen ikke er registrert. Også feil opplysninger om landbakgrunn har et visst omfang i trekkeregister som baserer seg på folkeregisteret. 6 prosent av avgangene i LKI 2005/2006 skyldtes at opplysninger om landbakgrunn viste seg å være feil.

Vi kan konkludere med at stor nasjonal og internasjonal mobilitet i en del av minoritetsgruppene (men ikke alle) har betydning for gjennomføring av undersøkelser i denne gruppen. Det påvirker muligheten til å finne fram til respondentene; noe som i seg selv påvirker kostnadene. I neste omgang har dette betydning for avgangsnivået, frafallsnivået og svarprosenten i undersøkelsene. Jo høyere avgangstall, jo mindre bruttoutvalg; det er dette svarprosenten beregnes på grunnlag av. Samtidig er det slik at stor mobilitet også gir høyere frafallstall.


* Praksis vil kunne variere fra statistikkprodusent til statistikkprodusent.