Hvilken informasjon inneholder dataene om oppholdsgrunnlag, botid og landbakgrunn? Botid er en relevant analysevariabel i brukerundersøkelser. Det er rimelig å forvente at personer med kort oppholdstid vil ha større utfordringer i møtet med offentlige etater, samt at det kan være vanskelig for mange å vurdere kvaliteten på de tjenestene de har fått. Samtidig kan det være et særlig alarmerende funn dersom også innvandrere med lang botid har negative erfaringer med offentlige tjenester.

Anbefaler å skille mellom landgrupper

Undersøkelser der ulike landgrupper er sammenliknet viser nokså gjennomgående at det er store forskjeller mellom gruppene langs en lang rekke variable, også i vurderingen av offentlige tjenester. Vi anbefaler derfor at det så langt som mulig skilles mellom landgruppene i analysene, fordi sammenslåing av grupper kan tilsløre interessante funn. Dette kan imidlertid komme i konflikt med personvernet, særlig i undersøkelser på kommunenivå (i små kommuner). I kvantitative datasett er problemene med gjenkjenning av individuelle respondenters svar mindre enn i kvalitative undersøkelser, men også her kan kombinasjonen av mange kjennetegn gi grunnlag for identifisering. For eksempel kan kombinasjonen landgruppe, alder, kjønn og bostedskommune kunne gi grunnlag for identifisering på individnivå. Slike data skal selvsagt ikke presenteres.

Det er imidlertid viktig å huske på at språklige og kulturelle forhold også kan ha betydning for hvordan dataene skal tolkes. Begreper kan ofte ikke oversettes direkte, og som følge av ulike erfaringer er det gjerne ulik forståelse av begreper og institusjoner på tvers av kulturer. Det kan også være kulturforskjeller i tilbøyeligheten til å kritisere myndighetene. Dessuten er det i andre studier påvist kulturforskjeller i måten det svares på, slik som tilbøyeligheten til å bruke ytterpunktene i en likert-skala* og andre skalaer.

Å kartlegge eventuelle kulturelle og språklige forskjeller i forståelsen av spørsmål og svaralternativer må være en del av prosessen med å utarbeide spørreskjemaet til undersøkelsen. I tillegg må man ha disse forskjellene i bakhodet når analysearbeidet starter. Skjemaets utforming og spørsmålenes validitet har avgjørende betydning for tolking og analyse. Disse temaene behandles videre i kapittel 4 om spørreskjemautvikling.

Offentlig statistikk ble tidligere ofte presentert etter kategoriene ”Innvandret” og ”Ikke-innvandret”, eventuelt med et skille mellom såkalte vestlige og ikke-vestlige innvandrere. Disse kategoriene er i dag ikke lengre i bruk i SSB, som har gått over til å presentere statistikken etter enten geografisk region (verdensdel) eller enkeltland. Dette er delvis en følge av at kategorien ”ikke-vestlig” oppleves som både faglig og etisk problematisk, og fordi det som nevnt er så store ulikheter mellom landgruppene.

Små utvalg og/eller lave svarprosenter i kvantitative undersøkelser

Hva er et godt (nok) utvalg? Ideelt sett ønsker vi oss selvsagt store utvalg med høy svarprosent i alle grupper. I praksis er det imidlertid ofte budsjettmessige og praktiske hindre for å oppnå så gode utvalg som vi kunne ha ønsket oss. I noen tilfeller er antallet innvandrere i ulike landgrupper rett og slett for lite til at det kan gjennomføres kvantitative analyser, eller legger store begrensninger på hva slags analyser som kan gjennomføres.

Det bør ikke være færre en 25 personer i hver av undergruppene det skal analyseres på. Er det kun 25 menn og 25 kvinner med pakistansk bakgrunn i et nettoutvalg kan man presentere andelen av henholdsvis kvinner og menn som er fornøyde med en tjeneste, men man kan ikke samtidig analysere betydningen av utdanningsbakgrunn. I små, gjennomsiktige kommuner skal man ikke krysse mange variabler mot hverandre før det vil være mulig å identifisere enkeltpersoner. Publisering av resultater for bakgrunnsvariablene bør planlegges nøye. Dersom man ønsker å publisere tall for minoritetsbefolkningen etter landbakgrunn kan dette kanskje løses ved å velge et høyere nivå for innsamlingen: for eksempel at alle eller noen kommuner i fylket blir enige om samarbeid for å gjennomføre undersøkelsen.

I noen tilfeller kan det være aktuelt å slå sammen flere landgrupper i analysene, men da risikerer man at ulikheter mellom landgruppene tilslører andre ulikheter. Hvis man for eksempel finner at lavt utdannede kvinner fra Asia er mindre fornøyd med tjenesten kan dette skyldes at pakistanske kvinner generelt er mindre fornøyde – og at utdanningsnivået i denne gruppen er lavere enn gjennomsnittet for kvinner fra Asia. Ofte vil likevel en sammenslåing av landgrupper være den eneste løsningen for å få gjennomført analyser av et datamateriale der mange av landgruppene er små. I så fall bør det tas forbehold om at funnene ikke er kontrollert for alle relevante bakgrunnskjennetegn.

Hva er et sikkert funn?

I alle analyser av survey-data må det vurderes om de forskjellene man finner mellom grupper er reelle, altså med stor sannsynlighet speiler slike forskjeller i den populasjonen man studerer, eller er et utslag av tilfeldigheter. Store utvalg gir sikrere funn enn små utvalg. Dessuten er forskjeller i prosentpoeng sikrere i ytterpunktene: forskjellen på 80 prosent fornøyde og 90 prosent fornøyde er sikrere enn forskjellen på 45 prosent og 55 prosent. Det finnes tabeller som viser feilmarginer ved ulike kombinasjoner av utvalgsstørrelser og prosentfordelinger. Vanligvis er disse beregnet slik at prosentresultatet pluss feilmarginen angir et 95% konfidensintervall. For eksempel gir kombinasjonen 200 observasjoner og et funn av 50 prosent (f.eks. fornøyde brukere) en feilmargin på +/- 6,9. Det vil si at ved et enkelt tilfeldig trekk av 200 respondenter vil man i 95 prosent av tilfellene få et resultat som ligger mellom 43,1 og 56,9 prosent, dersom 50 prosent av populasjonen det trekkes fra er fornøyde. Ofte forenkles dette til å si at det er 95% sikkert at den sanne verdien ligger mellom 43,1 og 56,9 prosent. Uansett er altså usikkerhetsmarginene nokså store i små utvalg.

Ved sammenligning av andeler i ulike underutvalg (for eksempel ulike landgrupper) må signifikanstestingen skje med utgangspunkt i størrelsen på hver av gruppene. Dersom man har to landgrupper med 100 respondenter i hver og finner 50 prosent fornøyde i den ene gruppa, må den andre gruppa avvike med minst +/- 13,6 prosentpoeng (altså ha mindre enn 36,4 prosent fornøyde eller mer enn 63,6 prosent fornøyde) for at forskjellen skal være statistisk signifikant på 5% nivå. Dersom utvalget økes til 5 000 i hver gruppe reduseres usikkerhetsmarginen til +/- 1,9 prosent. Et godt hjelpemiddel til å beregne usikkerhetsmarginer (eller den statistiske signifikansen) i data er programmet Zigne, som er gratis tilgjengelig på http://home.online.no/~b-aardal/ .

Signifikanstestene er imidlertid basert på en forutsetning om 100 prosent svar i undersøkelsen som testes, eventuelt at frafallet ikke er skjevt. En slik teoretisk forutsetning om at de som ikke svarer ville ha hatt samme svarfordeling som de som svarer er lite realistisk, spesielt dersom frafallet er stort. Det bør så langt som mulig gjøres frafallsanalyser av surveydata. Slike analyser spesifiserer hvor stort frafall som har oppstått, og spesifiserer så langt som mulig frafallsårsaker (nekt, ikke oppnådd kontakt, osv). Dessuten sammenliknes sammensetningen av respondentene med sammensetningen av totalpopulasjonen som skal undersøkes etter kjente kjennetegn, slik som landbakgrunn, alder, kjønn og utdanning. Erfaringsvis finner man skjevheter etter disse kjennetegnene.

Vekting

Slike skjevheter kan man kompensere for ved å konstruere vekter som vekter opp eller ned de ulike gruppene slik at de teller ”riktig” i analysen. Har man for eksempel fått bare 30 prosent kvinner i utvalget, mens det er 45 prosent kvinner i populasjonen, konstrueres en vekt for kvinner som er 45/30=1.5, og for menn 55/70=0.7857. Ofte er det mange forhold som skal vektes opp samtidig, og dermed blir beregningen av vekter noe mer komplisert. Til slutt konstrueres en egen variabel som tildeler hvert individ i datafila riktig vekt, og denne variabelen defineres som vektvariabel i det dataprogrammet som skal anvendes i analysene.

Det man imidlertid ikke kan vekte for på denne måten er ulikheter mellom de kvinnene som har svart og de som ikke har svart. Spesielt dersom frafallet er stort blir derfor resultatene svært usikre, og signifikanstesting ved hjelp av tabeller eller programmer som forutsetter 100 prosent svar blir urimelig.

Hva er en god svarprosent?

Det er ikke enighet i surveyfaglige miljøer om hva som er en tilstrekkelig høy svarprosent. Noen vil mene at alt under 70 prosent svar er uakseptabelt, mens andre kan akseptere både 60 prosent og lavere. I vurderingen av datakvaliteten må man også støtte seg på frafallsanalysene. Er det ting som tyder på at frafallet er svært skjevt? Kombinasjonen stort og skjevt frafall gir grunn til å være varsom med å bruke datamaterialet til å trekke konklusjoner om andeler som mener det ene eller det andre. Dersom frafallet er svært stort gir det i seg selv grunn til å mistenke at det er skjevt: Hvis det er et mindretall av respondentene som har svart kan man lure på hva det er som kjennetegner svarerne. Hva gjør man så når pengene er brukt opp og svarprosenten er for eksempel 30? Et datamateriale med så lav svarprosent er som nevnt ikke egnet til å estimere andeler. Dersom datamaterialet ellers holder god kvalitet og et tilstrekkelig antall intervjuer er gjennomført, kan det likevel brukes til interessante analyser av kjennetegn ved ulike grupper av brukere. Det kan blant annet brukes til å analysere kjennetegn ved fornøyde versus misfornøyde brukere.


* En skala som brukes til å angi grad av enighet i et utsagn. Ofte brukes 1-5, men andre spenn kan også anvendes.