Hvis det er aktuelt å gjennomføre undersøkelsen flere ganger og vurdere endring over tid er det viktig at spørsmål og svaralternativer ikke endres fra en undersøkelse til en annen. Som sosiologen Otis Dudley Duncan (1969) formulerte det: “if you want to measure change, don’t change the measure”.

På den annen side; dersom man har mistanke om at spørsmålene ikke fungerer etter intensjonen, eller at den praktiske anvendeligheten av dataene viser seg å være mindre enn man forventet (kanskje fordi spørsmålene er for generelle, eller vanskelige å analysere på en meningsfylt måte i forhold til formålet med undersøkelsen), bør man vurdere å endre eller kutte ut spørsmålene. Behov for tilpasning og bedre anvendelighet må altså veies opp mot behovet for å kunne se endring over tid.

Vi må uansett legge arbeid i spørreskjemaets innhold og utforming slik at det fungerer godt innenfor den sammenhengen det skal brukes i. Dette gjelder uavhengig av om populasjonen er svært homogen eller svært heterogen. Til hjelp har vi generelle prinsipper fra spørreskjemametodikken, som baserer seg på en modell for spørsmåls- og svarprosess hentet fra kognitiv psykologi.

Den kognitive modellen: en intendert mening, en oppgave og en målestokk

Innenfor det kognitive perspektivet sier vi at spørsmålene alltid har en intendert mening, en oppgave og en målestokk.

Den intenderte meningen er selve det vi spør om, som vi ønsker å måle, for eksempel ”Hvor ofte er du innom på nettsiden til www.nav.no?”. Målestokken angis i de alternativene for svar som tilbys respondenten; i dette tilfellet ”omtrent hver dag, 2-4 ganger i uka, omtrentlig ukentlig,…” osv. Oppgaven respondenten får er å forstå hva vi spør etter, tenke igjennom hva som vil være det riktige svaret for ham i lys av både hvor ofte han mener han er innom nettstedet, og de svaralternativene som tilbys, og avgi et svar som stemmer best mulig.

Denne prosessen med å forstå og besvare kan deles inn i fire faser: tolkning, fremhenting, vurdering og formulering av et svar. Modellen er hentet fra Tourangeau (1984).

Figur 1: En enkel modell for svarprosessen i intervjuundersøkelser

Ideelt sett skal alle respondentene gjennom spørsmålenes utforming og skjemaets design få mulighet til å forstå spørsmålet innhold på samme måte, og forstå hvordan de skal tenke eller gå fram for å kunne besvare spørsmålet. Dette innebærer at de både må forstå hvilke opplysninger de skal bruke for å komme fram til et svar, og hvilket format de skal svare i (Haraldsen 1999).

Dersom den intenderte meningen er uklar vil tolkningen variere fra respondent til respondent. Dersom formuleringen av svar blir vanskelig fordi målestokken i liten grad stemmer med respondentenes erfaringer vil reliabiliteten reduseres.

Risikoen for målefeil av denne typen reduseres dersom spørsmålene er:

  • enkle å forstå (men ikke så enkle eller forutsigbare at svarpersonen blir sløv)
  • har et enkelt språk
  • balanserte (men ikke ledende)

Det finnes en rekke lærebøker og ”guidelines” for å lage spørsmål som tilfredsstiller kognitive krav. Se for eksempel Haraldsen (1999), Tourangeau et al (2000) eller Schwartz & Sudman (1996) for tips.

En sterkt forenkla framstilling kan være at det er en lang rekke spørsmål vi bør passe oss for (Haraldsen 1999). Unngå generelle spørsmål, sammensatte spørsmål, yrkesbetinga spørsmålsformuleringer, urealistiske svaralternativer, ufrivillig hypotetiske spørsmål, implisitte spørsmål, svaralternativer som ikke er uttømmende, ubalanserte spørsmål, ubalanserte svaralternativer og til slutt, dobbeltløpede spørsmål. Dette er råd for ethvert skjema i enhver undersøkelse for enhver populasjon, og de går også igjen i Verktøy 4.

Utfordringer med den kognitive perspektiven

Brukertilfredshetsundersøkelser handler både om konkrete handlinger og abstrakte vurderinger. Enkelte typer oppgaver og enkelte typer svarformater har en tendens til å gå igjen i disse undersøkelsene. Vi blir ofte bedt om å vurdere hvor fornøyde eller misfornøyde vi er med et eller annet forhold, og så bedt om å svare ved å markere på en skala som strekker seg fra noe veldig negativt til noe veldig positivt.

Ofte er svarformatet en 5- eller 7-punkts skala med et midtpunkt, men svarformatet kan også settes opp på andre måter. Denne måten å gi respondenten en oppgave og et svarformat på kan virke velkjent for mange som jobber med brukerundersøkelser. Men er oppgavene som gis og svarformatet som tilbys enkelt å forstå for alle brukerne i den populasjonen vi undersøker?

Fra fokusgruppene med bestillerne fikk vi vite at terskelen for å klage på tjenester generelt er høyere blant innvandrere, og at bruken av svarskalaer i brukerundersøkelser er særlig utfordrende. I tillegg mener deltakerne at mange av ordene og begrepene som brukes i undersøkelsene er vanskelige å forstå innholdet av, og da særlig for innvandrere.

Dette er eksempler på problemer med intendert mening, med hvilken oppgave respondenten har, og med målestokken for å svare, jf. den kognitive modellen over. Konsekvensen av det fokusgruppedeltakerne peker på, er eventuelt at validiteten og reliabiliteten er dårligere for den delen av utvalgene som har innvandrerbakgrunn.

For å undersøke om dette stemmer og å prøve å lage bedre løsninger kan vi ha nytte av de perspektiver som benyttes i såkalt ”krysskulturell skjemadesign”. Testingen av spørsmål fra ulike brukerundersøkelser ga blant annet mange eksempler på vanskelige ord: vilje, tilpasse, synsvinkel, faglig kompetanse, omtale, ressurser, anbefale, fraråde, kvalitet. Mange vanskelige ord skaper grobunn for misforståelser.