Det er tre hovedkategorier av innsamlingsmetoder som anvendes i surveyer: egenutfylling av skjemaer – som distribueres og samles inn enten via posten eller internett, eventuelt fylles ut på tjenestestedet, telefonundersøkelser og besøksundersøkelser. Innen brukerundersøkelser finnes også varianten ”bruker intervjuer bruker”. Disse er mest aktuelle å gjennomføre på tjenestestedet. Hvilken metode som er mest hensiktmessig varierer med undersøkelsens formål, utvalgsdesign og ressurser vi har til rådighet (både økonomiske, kompetansemessige og tekniske).

Postale undersøkelser vil si at respondentene får tilsendt spørreskjemaet i posten. Papirskjemaet kan være klargjort for å registreres manuelt eller ved optisk lesning når det returneres fra respondenten. Valget mellom de to registreringsmetodene har betydning for kostnadene, men også for forekomst og type målefeil (bearbeidingsfeil). Manuell registrering (såkalt punching) er relativt dyrt i Norge, mens optisk lesning krever tilgang til spesiell teknologi og kompetanse. Risikoen for at bearbeidingsfeil skal oppstå ved manuell registrering øker betraktelig dersom man utformer spørreskjema på flere språk. Postale undersøkelser var likevel den rimeligste måten å gjennomføre spørreundersøkelser på inntil det ble vanlig å bruke elektroniske spørreskjema distribuert og returnert over Internett.

Websurveyer, altså internett-baserte surveyer som benytter seg av elektroniske spørreskjema*, er klart billigere å distribuere, blant annet sparer man utgifter til trykking og porto. Til gjengjeld får man gjerne større utfordringer både når det gjelder kostnader til utvikling, og i forhold til representativitet, og dermed kvalitet. Webskjemaer er kompliserte teknologiske verktøy som krever mye ressurser til testing og utvikling, men det finnes også standardiserte verktøy på markedet. Når det gjelder representativitet, er det i Norge fremdeles slik at tilgangen til og bruken av Internett ikke er likt fordelt i befolkningen. Det samme gjelder ferdigheter i informasjonsteknologi. Internettbruken er fremdeles størst blant personer med høy utdanning. Vi vet at frafallsproblemene ved web-baserte befolkningsundersøkelser er betydelige.

Selvrekrutterende utvalg er ikke representative

Selvrekrutterende utvalg er ofte brukt i ulike typer undersøkelser, og særlig i websurveyer, selv om det ikke finnes noen form for register over populasjonen. Det er imidlertid et alvorlig problem med denne type utvalg at rekrutteringen gjerne blir svært skjev. Bare de mest interesserte (i det aktuelle temaet) eller mest ressurssterke blir med på slike undersøkelser. Selvrekrutterende utvalg er derfor ikke representative, og vi kan ikke etterpå si noe pålitelig om fordelinger i populasjonen på bakgrunn av tallene.

Dersom man ønsker å skaffe seg mer innsikt i et tema, uten at man trenger å vite omfang eller utbredelse, kan selvrekrutterende utvalg likevel ha en viss verdi som informasjonskilde, for eksempel når formålet er å identifisere forbedringsområder i en brukergruppe. I forbindelse med brukertilfredshetsundersøkelser vil et eksempel på selvrekrutterende utvalg være dersom man la ut spørreskjemaer om bibliotekbruk ved skranken i biblioteket, og så lot folk forsyne seg fritt av skjemaene, uten å følge med på hvor mange som lot være å ta et skjema, og hvor mange som faktisk returnerte skjemaet de hadde fått utdelt.

Ulempen med slike utvalg er at frafallet typisk blir stort, og i tillegg ukjent. Siden det ikke er et sannsynlighetsutvalg er det heller ikke mulig å beregne usikkerhetsmarginer til de estimatene** man kommer fram til (for eksempel andelen fornøyde brukere). Generelt er selvrekrutterte utvalg og kvoteutvalg (utvalg der det intervjues inntil en viss kvote intervjuer er gjennomført og svarprosent og sannsynligheten for å bli trukket ut typisk er ukjent) lite egnet til å estimere andeler. De gir med andre ord svært usikre mål på for eksempel hvor stor andel av brukerne som er fornøyd med tjenesten. Derimot kan de gi indikasjoner på hvilke tjenesteområder som er særlig populære eller upopulære, samt på hvilke forhold og erfaringer som fører til tilfredshet.

Erfaringsmessig gir web-undersøkelser stort og skjevt frafall

Web-baserte undersøkelser kan også gjennomføres med et tilfeldig utvalg av respondenter, forutsatt at man har et register over respondentene og tilstrekkelig god kontaktinformasjon til disse. Slike undersøkelser kan for eksempel rekrutteres via e-post. Dette kan fungere godt brukt på utvalg der alle respondentene bruker e-post og internett jevnlig. Metoden er sannsynligvis lite egnet til å innhente brukererfaringer for eksempel blant nyankomne flyktninger og innvandrere, fordi den med stor sannsynlighet vil gi stort frafall/lav svarprosent.

Bruk av web-løsninger for å innehente data er blitt stadig vanligere. Vi vil ikke anbefale web-løsninger som eneste datainnsamlingsmetode i generelle befolkningsundersøkelser, fordi frafallet erfaringsmessig blir stort og skjevt. Personer med høy utdanning er betydelig overrepresentert i websurveyer. Derimot kan det være aktuelt i mer målrettede surveyer og dessuten i kombinasjon med telefonintervju og eventuelt personlig intervju.

Ved bruk av web-løsninger gjelder selvsagt de samme reglene for god spørreskjemautforming som ved andre typer datainnsamling, men i tillegg er den visuelle og praktiske utformingen av undersøkelsen svært viktig. Elektroniske skjemaer bør derfor grundig testes for brukervennlighet før de ferdigstilles. Dette kan gjøres i individuelle kognitive intervjuer der respondenten sitter foran en skjerm og fyller ut det elektroniske skjemaet samtidig som han blir intervjuet og observert. For en nærmere innføring i temaet visuell utforming vises til SSB-håndboka Råd for utvikling og utforming av webskjema (Haraldsen, 2004) {se «brukervennlighetstesting»}.

Telefon- og besøksundersøkelser

I telefon- og besøksundersøkelser foregår kommunikasjonen gjennom personlig kontakt mellom intervjuer og respondent. Telefonundersøkelser vil si at respondentene ringes opp av en intervjuer som (vanligvis) fyller svarene inn i et elektronisk spørreskjema, eventuelt et papirskjema. Telefonundersøkelser kan være en relativt rask og rimelig måte å gjennomføre spørreundersøkelser på, sammenlignet med besøksundersøkelser. Spredningen av mobiltelefoner gir imidlertid økende problemer med denne metoden. Det har ført til en ny type kontaktproblemer. Mange bruker telefonnumre som ikke er registrert i norske telefonkataloger, eller har registrert telefonnumre i sitt navn som ikke er i bruk. I tillegg gjør teknologien det enkelt å avvise innkommende samtaler fra visse nummer. På denne måten kan respondentene lett unndra seg kontaktforsøk. Dette fordyrer undersøkelsene; tidsbruken øker uten at det gir resultater i form av flere intervju.

Besøksundersøkelser krever atskillig mer ressurser enn de andre datainnsamlingsmetodene. Det er svært tidkrevende å oppsøke intervjuobjektene hjemme. I likhet med ved telefonintervjuer må det også ansettes (og ofte læres opp) intervjuere. Metoden er særlig anvendelig når intervjuets tema og omfang gjør det best med kontakt ansikt til ansikt. I tillegg er det aktuelt for å oppnå økt svarprosent når det er vanskelig å komme i kontakt med respondentene per post og telefon, eller når tendensen til å ikke ville delta i undersøkelsen er større per telefon enn ved besøksintervju.

Stadig vanligere med metodekombinasjoner

I dag er det vanlig å åpne for at telefonintervjuer kan erstatte besøksintervjuer dersom høye reisekostnader eller andre problemer med å finne fram til respondentene gjør dette hensiktsmessig. Kombinasjoner av ulike metoder blir i økende grad tatt i bruk av surveyorganisasjoner. Dette kan for eksempel skje ved at man tar i bruk billigste metode først, på de ”letteste” respondentene, og følger opp med telefon og/eller besøksintervjuer senere for å øke sjansen for å få svar fra de ”vanskeligste”. Det kan også skje ved at respondenten får mulighet til selv å velge hvilke metode han eller hun skal svare med. Poenget med metodekombinasjoner er å få en bedre balanse mellom kostnadene og feilkildene i en gitt survey. Man søker å maksimere positive og minimere negative effekter av hver metode. For en relativt kortfattet presentasjon av fordeler og ulemper med ulike metodekombinasjoner, se de Leeuw (2005).

Skoleundersøkelser forutsetter et godt samarbeid med de skolene som deltar i undersøkelsen. En vanlig framgangsmåte er at lærerne deler ut spørreskjemaene i en time og at skjemaene fylles ut der og da. For å sikre anonymitet legger elevene selv skjemaene i konvolutter som klistres igjen før de samles inn igjen.

Noen ganger refereres det til panelundersøkelser som en egen form for undersøkelse. Panelundersøkelser går ut på å samle inn data gjentatte ganger fra de samme enhetene over en viss tidsperiode (for eksempel hvert år eller hvert femte år). På denne måten kan man studere utvikling over tid. Man kan ha panelundersøkelser både når det gjelder papirbaserte, webbaserte eller intervjubaserte undersøkelser, og med ulik størrelse på panelet.

Ved valg av datafangstmetode er det flere forhold som må avveies og ses i forhold til hverandre. For det første: Hvilke spørsmål er det vi ønsker svar på? For det andre, hvordan kan man best innhente data som kan besvare disse spørsmålene? Kvaliteten på dataene vil avhenge både av svarprosent, frafallet og svarkvaliteten. Svarkvaliteten har sammenheng med god spørsmålsutforming, men også med datafangstmetode. Er for eksempel spørsmålene av en slik karakter at de krever personlig kontakt mellom respondent og intervjuer? Eller er det snarere en ulempe med personlig kontakt? Budsjettmessige begrensninger har også stor betydning for metodevalg, og kan medføre at man må justere problemstillingene for undersøkelsen.


* Man kan også benytte Internett (e-post) til å distribuere papirskjema og informasjon til respondenten, som så returneres via posten. Slike undersøkelser regnes ikke som web-surveyer her.

** Et estimat er her den beregnede fordelingen av et fenomen i populasjonen, gjort på grunnlag av fordelingen i utvalget.