Kvantitative undersøkelser tar sikte på å gi generaliserbare resultater, gjennom å spørre enten alle eller et representativt utvalg av brukere. Dataene samles inn ved hjelp av et fastlagt skjema, men skjemaet kan ha enkelte åpne spørsmål der respondentene selv formulerer temaer og svar. Datainnsamlingen kan skje enten ved at respondentene selv fyller ut skjemaene, eller ved at de intervjues per telefon eller in persona.

Gir mulighet for å kontrollere for bakgrunnsvariabler

De største fordelene med kvantitative teknikker er at de kan gi svar på spørsmål av typen ”Hvor stor andel av brukerne er fornøyde”, ”Hvor stor andel av brukere med minoritetsbakgrunn er fornøyde”, samt at kvantitative data gir mulighet til å kontrollere for betydningen av flere forhold samtidig og dermed analysere betydningen av for eksempel etnisk bakgrunn kontrollert for alder, kjønn, inntekt og utdanning.

Lav svarprosent øker usikkerheten ved dataene

En ulempe ved fastlagte skjemaer er at de i liten grad gir mulighet til å forfølge tematikk som dukker opp underveis i intervjuet, og til å la respondentene påvirke tema og formuleringer etter at skjemaet er ferdig. En annen ulempe er at det kan være svært kompetansekrevende og kostbart å gjennomføre gode kvantitative undersøkelser, og det er dessuten erfaringsvis vanskelig å oppnå en høy svarprosent. Hvis svarprosenten blir lav øker usikkerheten ved dataene. Det blir mer problematisk å anslå med sikkerhet hvor stor andel som er fornøyde eller misfornøyde. Likevel kan dataene brukes til å analysere kjennetegn ved dem som er henholdsvis fornøyde og misfornøyde.

Når respondentene tilhører ulike språkgrupper med svært varierende kunnskaper i fellesspråket oppstår dessuten behov for å oversette skjemaene, noe som fører til større mulighet for visse typer målefeil: nyanser i språk og begrepsforståelse gjør det krevende å sammenlikne resultatene på tvers av gruppene. På den annen side sikrer oversettelsene at spørsmålene formuleres på noenlunde samme måte til alle respondentene innen hver språkgruppe, mens intervjuer ved hjelp av tolk gjør det svært sannsynlig at spørsmålene ikke formuleres identisk til hver respondent.

Postale undersøkelser til minoritetsbefolkningen – selv med oversatte skjema - har erfaringsvis lav svarprosent, noe som begrenser nytten av resultatene. Med et omfattende forarbeid og bruk av økonomiske insentiver kan imidlertid svarprosenten heves. Ulike varianter av ”på tjenestestedet selvutfylling” kan derimot være aktuelt. Dette kan skje ved å dele ut (og forklare) et skjema i en klasse på voksenopplæringen, ev. gjennom web-baserte løsninger der brukeren får sitte i fred og fylle ut skjemaet. En stor utfordring her blir imidlertid å sikre et tilfeldig utvalg av respondenter samt registrering av frafall. Dersom frafallet skal registreres etter landgruppe må det registreres landbakgrunn også på dem som ikke vil delta. Det er høyst tvilsomt om datatilsynet vil tillate dette. Det kan likevel være interessante ting å hente ut av et slikt datamateriale, og som kan anvendes til tjenesteutvikling.

Dersom man går løs på en kvantitativ undersøkelse er det viktig å være oppmerksom på at det erfaringsvis er krevende å oppnå god svarprosent når etniske minoriteter er målgruppe, og at svarprosentene varierer fra gruppe til gruppe. Kvaliteten på datamaterialet kan dermed bli redusert og dessuten svært varierende fra gruppe til gruppe. Dersom man ikke har informasjon om landbakgrunn kan det dermed bli vanskelig å vurdere kvaliteten på datamaterialet. Det finnes imidlertid teknikker for å øke svarprosenten. Dette er behandlet i eget avsnitt under kapittelet om kvantitative undersøkelser.

Kvalitative metoder går mer i dybden og gir anledning til å forfølge problemstillinger som dukker opp underveis i intervjuet. Tematikken er dermed i mindre grad fastlagt på forhånd. Vi kan si at kvalitative metoder kjennetegnes av at man undersøker et (relativt) lite antall enheter for å skaffe oss mest mulig oversiktpå et gitt temafelt. Systematisk og etterrettelig bearbeiding av informasjonen danner datagrunnlaget for den kvalitative analysen. Kvalitative intervjuer som gjennomføres av ansatte i den etaten/kommunen som evalueres er metodisk problematisk, fordi det er grunn til å tro at svarene vil bli påvirket av datafangstmetoden.

Kvalitative metoder egner seg som forarbeid til kvantitative studier

Kvalitative metoder kan brukes alene, og kan gi viktig informasjon om hvordan brukere opplever tjenestene. Dermed kan resultatene gi innspill til tjenesteforbedringer. Kvalitative metoder er dessuten av stor betydning som forarbeid til og testing av kvantitative datainnhentingsverktøy. En kvantitativ, spørreskjemabasert undersøkelse er et omfattende arbeid. For å sikre at tematikk og spørsmålsformuleringer fungerer bør det alltid gjennomføres kvalitative forstudier, for eksempel ved dybdeintervjuer av enkelte brukere.

Spørreskjemaene bør dessuten alltid ”piloteres”, gjerne med en kombinasjon av kvalitative og kvantitative intervjuer. Det gjennomføres et mindre antall intervjuer før selve datainnsamlingen settes i gang, for å avdekke eventuelle problemer og uklarheter i skjemaene. Dersom vi kombinerer dette med dybdeintervjuer (oppfølgingsintervjuer) med et fåtall respondenter (to-tre stykker kan være nok) og/eller intervjuere (dersom det er en intervjuundersøkelse) får man verdifull kunnskap til å vurdere om skjema eller innsamlingsmetode bør endres før start.

Kvalitative undersøkelser nyttig for tjenesteutvikling

Brukerundersøkelser kan altså gjennomføres ved hjelp av kvalitative metoder alene. Ved hjelp av individuelle dybdeintervjuer eller fokusgruppeintervjuer kan man få data som vil være svært nyttig i sammenheng med tjenesteutvikling, for eksempel om hvordan det oppleves å være bruker av ulike typer tjenester, hva som oppleves som problematisk ved ulike tjenester, og ikke minst hvorfor det er problematisk. Slike data gir typisk et vell av informasjon som, etter en god analyseprosess, fører til at nye mulige sammenhenger trer fram. På bakgrunn av denne informasjonen kan vi også generere hypoteser om god og dårlig tjenesteyting som eventuelt senere kan testes kvantitativt.

I praksis vil dette ofte være mindre omfattende og mindre kostbare undersøkelser å gjennomføre. Derfor er det viktig å være klar over begrensningene ved dette nyttige verktøyet. Det er viktig å huske at kvalitative undersøkelser ikke vil kunne gi statistisk generaliserbare resultater. På samme måte som med kvantitative spørreundersøkelser kan de likevel standardiseres. Med dette mener vi at en etat eksempelvis kan utarbeide et undersøkelsesopplegg og en ferdig intervjuguide, som så iverksettes ulike steder. Eksempel kan være at man lager et opplegg for fokusgrupper blant bibliotekbrukere med innvandrerbakgrunn, og så iverksettes dette på mange ulike steder.

Kvalitative metoder fordrer imidlertid alltid et element av spontanitet og tilpasning til situasjonen og respondenten(e); i dette ligger selve det kvalitative. Et godt dybdeintervju krever både en nøye planlagt intervjuguide og en spontan og våken intervjuer som kan forlate intervjuguiden og forfølge interessante resonnementer eller ”sidespor” hos respondentene. Vi jobber mot å avdekke så mye som mulig av relevant informasjon om et gitt tema. Hvor lenge vi må holde på for å kunne si at vi har ”nok” informasjon, avhenger av formål, problemstilling, kompleksitet, forskningsambisjon, og ikke minst, budsjett. Selv med et begrenset budsjett kan man få fram verdifull informasjon i en tjenesteutviklingssammenheng.

Oversikt over aktuelle metoder:
Kvantitative metoder
  • Personlig intervju
  • Telefonintervju
  • Egenutfylling: enten web-basert eller papirbasert
Kvalitative metoder
  • Individuelle intervjuer (ofte kalt ”dybdeintervjuer”)/kognitive intervjuer
  • Fokusgrupper
  • Observasjon
Valg av tid og sted
  • Intervjuer kan foregå på folks hjemmeadresse, i et tilrettelagt lokale eller på tjenestestedet
  • Egenutfylling kan også foregå på tjenestestedet