Svareffekter (at svarene påvirkes av spørsmålsformuleringene og intervjusituasjonen) er kjente fenomen fra surveyforskningen; for eksempel at respondentene har en generell tendens til å ville tekkes intervjueren i intervjuundersøkelser, at vi har en tendens til å si ja eller gi positive svar (mer positive enn våre holdninger ”egentlig” tilsvarer) og så videre.

Slike effekter påvirker svargivingen også i flerkulturelle undersøkelser. Tendens til å ville tekkes, eller til å si ja, eller til å velge ekstreme ytterpunkter på skalaene, varierer med etnisk eller kulturell gruppe og mellom land. Det samme kan sies om bruken av ”vet ikke”-alternativer.

Testpersoner vil ofte fremstå som balanserte og positive mennesker

Resultatene fra de kognitive testene av eksisterende brukerundersøkelser viste at det er forbundet med ambivalens og ubehag å gi negative vurderinger, og at ytterpunktene på de graderte skalaene ble unngått. Det var ikke uvanlig å svare ved å gi en svakt positivt (+1) eller nøytral (0), men så etterpå gi tydelig uttrykk for at den dominerende følelsen deres faktisk var negativ.

Når testpersonene ble konfrontert med dette (”du ga + 1, men nå er du jo veldig negativ”), ble dette begrunnet med svar om at man for eksempel ikke kunne tillate seg å være så negativ (”Alle er ikke like ille”-svar), eller at man i svarene må ”balansere”. Dersom man hadde vært kritisk og gitt for eksempel to negative svar etter hverandre, nøytraliserte man ved å gi null eller svakt positivt svar.

Dette viser flere ting. Testpersonene er opptatte av å fremstå som balanserte og i bunn og grunn positive mennesker gjennom de svarene de gir, og de bruker svarene som ”belønningsverktøy” overfor NAV (ved å gi positive vurderinger selv om de egentlig var negative ”fordi de jo har forbedret seg”). En del av svarene er dermed tilfeldig valgt.

Flere virkemidler for å redusere effekten

Hvor mye dette har å gjøre med selve rekkefølgeeffekter som oppstår når en lang rekke ensartede spørsmålsformater som bruker samme skala gjentas gjennom skjemaet, er vanskelig å svare på. Sannsynligvis forsterker et ensarta design i matriseform tendensen til ja-siing og balansering, fordi vurderingsoppgavene er så forutsigbare. Det finnes flere oversikter i faglitteraturen over (i hvert fall nasjonale) systematiske forskjeller i disse tendensene.

Virkemidlene for å redusere effekten er de samme som ellers innen surveymetodikken. Spørsmålene må formuleres så nøytralt som mulig. Noen lærebøker foreslår å ”snu” noen av spørsmålene.

For eksempel kan man ha ett spørsmål som lyder ”Hvor enig er du i utsagnet 'Jeg ble behandlet med respekt av min saksbehandler'”, med en fempunktsskala fra helt uenig til helt enig. Neste spørsmål kan lyde ”Jeg ble ikke tatt på alvor av min saksbehandler”, med samme svarskala. En respondent som ønsker å gi gode tilbakemeldinger må i så fall bruke den ene enden av skalaen på det ene spørsmålet og den andre enden av skalaen på det andre.

Mange er likevel skeptiske til denne teknikken (snuing), da den gjerne fører til mer feilsvar og kan virke irriterende på respondenten.