Spørreskjema med feil, mangler og ubalanse gir målefeil i undersøkelsene og påvirker datakvaliteten. Derfor kunne spørreskjemautvikling også ha vært tema i forrige kapittel, men fordi andre teoretiske modeller og praktiske metoder tas i bruk er det i stedet behandlet separat.

Det finnes en rekke håndbøker for hvordan gode spørreskjema kan designes, testes og evalueres, se for eksempel Haraldsen (1999), Presser et al. (2004), eller kapittel 7 og 8 i Groves et al. (2004). Her kan man også finne detaljerte råd og veiledning for ulike spørsmålstyper og svaroppsett.

En rekke valg må tas ved utvikling av et nytt skjema

I dette kapitlet er det lagt vekt på å gi en presentasjon av de ulike valgene som må tas når et nytt skjema utvikles, hva man må være oppmerksom på, og fordeler og ulemper med ulike løsninger.

For å gjøre framstillingen så konkret og anvendelig som mulig er det utviklet et eksempelskjema for brukerundersøkelser. NAV arbeid og trygd er brukt som eksempel på tjenesteprodusent og eier av undersøkelsen.

Eksempelskjemaet fungerer som en mal for hvilke tema som kan dekkes i brukerundersøkelsen, hvilke spørsmål som kan stilles, eksempel på relevante svaralternativer, og hvordan alt dette kan settes sammen til et helt spørreskjema. Spørsmål og svaralternativer i eksempelskjemaet kan tilpasses andre tjenesteområder.

I arbeidet med å lage et nytt eksempelskjema er det tatt utgangspunkt i tema, dimensjoner og spørsmålsformater i ulike eksisterende brukerundersøkelser, samt de anbefalingene for brukerundersøkelser i offentlig forvaltning som Riksrevisjonen gir.

To datainnsamlinger med representanter for bestillere og for brukere

For å oppfylle kravet om å lage en brukerundersøkelse tilpasset minoritetsbefolkningen er det så gjennomført to eksplorerende datainnsamlinger.

Først er representanter for statlige og kommunale bestillere intervjuet i fokusgrupper. Intervjuene dreide seg om hvordan dagens brukerundersøkelser fungerer og hvordan bestillerne ønsker at brukerundersøkelsene skal være for å måle innvandreres og andre minoriteters tilfredshet med offentlige tjenester og være nyttige i tjenesteutviklingen.

Den andre datainnsamlingen besto i en rekke kognitive intervjuer for å teste hvordan ulike typer spørsmål fungerer for NAV-brukere med innvandrerbakgrunn, og for å kartlegge hva disse la i noen av de mest sentrale begrepene for kvalitet knyttet til NAVs tjenesteområde*.

Analysen av de to datainnsamlingene ga både informasjon om tema, dimensjoner og begrepsinnhold i brukerundersøkelser, og detaljert informasjon om hvordan enkeltspørsmål og svaroppsett fungerer. De kognitive intervjuene ble gjennomført som en iterativ prosess for spørsmålsutvikling, der nye spørsmål testes, revideres, testes på ny osv til man oppnår tilfredsstillende resultater**.

Testresultatene og analysen av hva dette betyr for utformingen av det nye forslaget til skjema vil bli presentert etter hvert som de ulike temaene innen spørreskjemautvikling behandles. På denne måten illustreres det hvordan ulike løsninger kan være aktuelle, og hvilke avveininger som er gjort for å komme fram til eksempelskjemaet. Selve eksempelskjemaet er presentert i Verktøy 1.

Når det gjelder konkret utforming av et spørreskjema; det visuelle og funksjonelle, henvises til SSBs håndbok for visuell design.

Følgende tema behandles i kapittelet:

  • Tema, dimensjoner og begrepsinnhold
  • Hva bør en brukerundersøkelse for NAV-brukere med innvandrerbakgrunn måle?
  • Skjemaflyt (om logikken i skjemaet)
  • Forslag til bolker og variabler i eksempelskjemaet
  • Spørsmålsformuleringer
  • Spørreskjema for tverrnasjonale eller flerkulturelle undersøkelser
  • Konsekvenser av anbefalingene og testresultatene for eksempelskjemaet
  • Ulike typer svareffekter
  • Ulike typer svarskalaer
  • Oversetting av spørreskjema
  • Testing av skjema
     
  • Les videre: Tema, dimensjoner og begrepsinnhold

* De elleve intervjuene ble gjennomført fra mai til september 2009 i SSBs lokaler i Oslo. Testpersonene var mellom 32 og 50 år, de fleste innvandret til Norge i voksen alder. Botiden deres i Norge varierte fra 7 til mer enn 30 år, med bakgrunn fra Latin-Amerika, Afrika, USA og Asia, i tillegg til Europa. Ti av de elleve testpersonene ble rekruttert ved hjelp av oppslag på et NAV-kontor i Oslo sentrum, den siste via ”snøballmetoden”. Alle intervjuene varte om lag to timer og ble gjennomført med samme moderator. Tre ulike referenter var involvert.

** Datainnsamlingen dreide seg både om å teste ”gamle” spørsmål og nyutviklede spørsmål i til sammen 11 intervjuer. Omfanget av testingen for de nye spørsmålene er slik at man må se eksempelskjemaet som en førsteutgave av en brukerundersøkelse.