Å teste ut spørreskjemaer på potensielle eller reelle respondenter er noe som for så vidt har pågått i lang tid, med fokus på å avdekke feil og mangler i skjema sett fra intervjuerens eller respondentens perspektiv. Ved hjelp av kognitive teknikker er nå testing mer og mer akseptert også som et middel til å forbedre selve validiteten på dataene.

Fokus på selve tolkningen og oppgaveløsningen som foregår i hodet på respondenten gir oss informasjon om hva vi faktisk måler ved å stille spørsmålet på den ene eller den andre måten. For en bredere presentasjon av ulike metoder for testing, se SSBs håndbok Praktisk brukertesting (SSB 2006).

Det kvalitative forarbeidet til spørreskjemaet er altså av avgjørende betydning for kvaliteten og relevansen til dataene som samles inn. Kvalitative bidrag til fortolkning av data har også vist seg svært nyttige.

I forhold til flerspråklige og flerkulturelle undersøkelser er slik testing avgjørende for å kunne vurdere om og eventuelt hvordan spørsmål forstås på ulike måter. Det er økende internasjonal interesse for utfordringene som ligger i å lage spørreskjema som skal fungere på tvers av kulturer (”cross-cultural survey methodology”)*.

Ekspertevalueringer bør omfatte eksperter på det fagfeltet undersøkelsen omhandler 

Ekspertevalueringer vil si at en gruppe spørreskjemaeksperter gjennomgår og evaluerer et spørreskjema, ofte i henhold til standardiserte verktøy, for å sjekke begrepsbruk, struktur, utforming av svaralternativer, rekkefølge på spørsmål, informasjon til respondent og intervjuer osv; alle aspekter ved skjemaet. Den samlede ekspertisen bidrar til å avdekke svakheter og problemer før skjemaet settes i produksjon.

Metoden kan kalles en ”skrivebordsevaluering”, og er svært effektiv på et visst stadium i skjemautviklingen. Det anbefales gjerne at ekspertgruppen også omfatter eksperter på det fagfeltet undersøkelsen omhandler, for å sikre at skjemaet samler inn informasjon som dekker undersøkelsens analytiske formål.

Det finnes en rekke anerkjente sjekklister for evalueringer av spørreskjema og enkeltspørsmål. I Verktøy 3 og Verktøy 4 gjengir vi to slike, utarbeidet av Statistisk sentralbyrå.

Medlemmene av evalueringsgruppa foretar en individuell gjennomgang av skjemaet eller spørsmålet med egne vurderinger av de momentene som sjekklistene angir. Deretter møtes gruppa for et såkalt sensormøte der man diskuterer seg igjennom skjemaet eller spørsmålet. Sluttproduktet av denne prosessen kan være et ”karakterkort” for hvert spørsmål, eller en større rapport som angir problemer og eventuelle løsninger, forslag til forbedringer osv.

Kognitive intervjuer kan avdekke både dårlige spørsmålsformuleringer og sensitive temaer

Kognitive intervjuer fokuserer på å avdekke de mentale prosessene som foregår når man blir stilt et spørsmål. Gjennom høyttenkningsoppgaver og oppfølgingsspørsmål får vi data om tankene respondenten gjør seg i det de får et spørsmål og umiddelbart etterpå. Gjennom analysen av slike data får vi mulighet til å avdekke tolkningsmessige problemer med spørsmålene. Dekkes undersøkelsens egentlige formål gjennom den måten spørsmål og svar er formulert på?

Konklusjonen må være at kognitive tester er nødvendig før spørreskjema ferdigstilles. Disse kan avdekke både dårlige spørsmålsformuleringer og sensitive temaer. Likevel finnes det ikke alltid perfekte løsninger på oversettingsproblemer. I så fall er det av stor betydning at de som skal tolke dataene kjenner til problemene.

Fra litteraturen omkring kognitiv forståelse av spørreskjemaer og den økende mengden litteratur om krysskulturell kommunikasjon, vet vi at surveyfaget står overfor en stor utfordring når det gjelder å lage spørreskjemaer som er slik at spørsmål og svar i minst mulig grad skaper måleproblemer. Dette kan bare oppnås gjennom inngående testing av innsamlingsinstrumentene. På denne måten blir man oppmerksom på ulikheter i bruk, nyanser i uttrykk osv, i de ”samme” spørsmålene – for ulike språk- eller kulturgrupper.

Det finnes en rekke læremidler i hvordan kognitive intervjuer kan legges opp. Felles for de fleste er at man utarbeider en intervjuguide med ulike høyttenkingsoppgaver og oppfølgingsspørsmål til en potensiell respondent. Oppgavene er gjerne bygget opp rundt utkastene til skjema eller enkeltspørsmål. Vi kan også intervjue respondenten om ulike versjoner av samme spørsmål eller svarskala, og intervjuet kan inneholde oppgaver der vi undersøker hva slags mening respondenten legger i ulike begreper. Vi anbefaler SSBs håndbok (SSB 2006), som gir en utfyllende og praktisk ”oppskrift” på slike intervjuer.

Brukervennlighetstester er knyttet til utviklingen av elektroniske produkter

Den siste formen for testing av skjema kalles brukervennlighetstester, på engelsk ofte kalt usability tests. Slike tester er knyttet til utviklingen av elektroniske produkter. Det kan være et elektronisk spørreskjema, en nettside eller et annet elektronisk produkt, som for eksempel en portal eller database. Formålet er å finne ut hvor godt brukerne kan utføre et sett bestemte oppgaver ved hjelp av et bestemt produkt.

Når vi bruker det i forbindelse med testing av elektroniske spørreskjema, er det ofte kombinert med kognitive teknikker for å få informasjon om den mentale svarprosessen i tillegg til den tekniske. En annen måte å beskrive slik testing på kan være å kalle det ”forbedring av spørreskjemaets brukegrensesnitt”.

I brukervennlighetstester observerer vi en testperson mens han løser ulike praktiske oppgaver på skjermen, eller rett og slett besvarer skjemaet. Vi registrer usikkerhet, nøling og spørsmål fra respondentens side, men også overordna inntrykk av hvordan det er å bruke produktet.

Oppgavene kan både være svært konkrete (”hvordan vil du gå fram hvis du lurer på x”) og mer abstrakte (”hvilket inntrykk synes du denne skjemaforsiden gir?”). Alle tekniske funksjoner, som navigering, nedlasting og innsending av skjemaet, er det også viktig å få testet godt før undersøkelsen starter.

Det finnes egen programvare og teknologi for brukervennlighetstesting som både registrerer lyd, bilde og bevegelsene på skjermen, som museklikk, musebevegelser og øyebevegelser, såkalt ”Eyetracking”. På den måten kan man få mye informasjon om hvordan respondentene ”ser” og bruker en nettside. Dette kan være nyttig i forbindelse med utvikling av webbaserte skjema i store prosjekter.

For mer detaljer om fremgangsmåten ved brukervennlighetstesting, se SSBs håndbøker (2004 og 2006).

Gjennomføring av tester og analyse av kvalitative data krever tid

Når man planlegger utviklingen av spørreskjema er det viktig å legge inn nok tid til testing. Dette gjelder for alle de tre testformene. Dersom brukervennlighetstesten gjennomføres dagen før undersøkelsen starter får man ikke utnyttet det potensialet for kvalitetsforbedringer som ligger i testmetodikken. Det er tidkrevende både å gjennomføre tester og å analysere kvalitative data på en slik måte at man får lagt grunnlag for forbedringer.

Beste fremgangsmåte er å la utviklingsprosessen være iterativ. Man samler informasjon og lager forslag som testes med kvalitative metoder før oppsummering og konklusjon. Basert på dette utarbeides nye forslag, som testes på nytt osv. Ideelt kan man tenke seg at man også inkluderer en kvantitativ pilotundersøkelse i denne prosessen.

Når bruker man de tre ulike teknikkene?

  • Typisk er kognitive intervjuer svært nyttige i utviklingen av enkeltspørsmål.
  • Tiden er inne for en ekspertevaluering når vi har et helt skjema klart første gang (og kanskje andre og tredje gang). Basert på rapporten herfra er det ofte vanlig å gå tilbake til nye runder med kognitive intervjuer. Evalueringen bør også omfatte de visuelle og funksjonelle sidene ved skjemaet.
  • Brukervennlighetstestingen må nødvendigvis vente til vi har et elektronisk produkt klart, men bør også ideelt foregå på flere stadier i prosessen.

* For en introduksjon til temaet, se Harkness et al., 2003.