I 1936 forutså George H. Gallup at Roosevelt ville vinne presidentvalget ved kun å spørre 5.000 respondenter, mens Literary Digest spurte 2 millioner og bommet. Å bruke et lite, men representativt tilfeldig utvalg var Gallups nyvinning. Det ga meningsmålinger av høyere kvalitet til en mye lavere pris og ga grunnlaget for en hel ny industri. Gallups nye metode kunne likevel ikke forhindre at de gikk på en kraftig smell i 1948. De var sikre på at Thomas S. Dewey ville vinne presidentvalget klart, mens det var Harry S. Truman som faktisk kunne innta the Oval Office etter valget.
I løpet av de siste 70 årene har metodene blitt stadig forfinet og forbedret, men de har fremdeles mangler og svakheter, noe som ble tydelig demonstrert av NRK/Synovates valgsdagsmåling. I andre sammenhenger er det vanskeligere å konkludere med målingenes gyldighet, fordi det ikke finnes noe fasit. Dette gjelder f. eks mange av de medieundersøkelsene som gjennomføres.
TNS Gallup sin InterBuss en av disse. I siste rapport legger de fram interessante tall om bruken av sosiale medier hvor den brede omfavnelsen av Facebook har fått stor oppmerksomhet. 1 322 600 er innom Facebook daglig hevdes det. Kan det stemme? Kanskje. Facebook sitter med fasiten, men de forteller den neppe.
I parentes: Hvis Facebook hadde fortalt det så ville jeg likevel hatt mine tvil. Facebook påstår i annonseprogrammet sitt at de har 114.000 norske 19-åringer. Det finnes ikke mer enn 63 195 19-åringer i Norge.
Uansett, noe som helt sikkert _ikke_ stemmer er TNS Gallup sin måling av Nettby. Undersøkelsen mener 3 % eller 116 700 bruker tjenesten daglig. Vi _vet_ derimot at rundt 215-220 tusen unike bruk
ere logger seg på Nettby om dagen. Det varierer litt med ukedag (høyest på mandag, lavest lørdag), men spredningen er liten. Ettersom brukerne må godkjenne mobilnummeret sitt og ett mobilnummer kun kan knyttes til en bruker er det i praksis svært få som har flere profiler. Denne statistikken ligger for øvrig åpent og oppdateres fortløpende.
Men TNS Gallup mener altså at vi bare har 116 700, som er en forskjell på 89%. Det tror jeg er et avvik som George H. Gallup neppe vil være fornøyd med. Er TNS Gallup det?
Når det nye nettpanelet til TNS Gallup kommer opp i 2010 får bransjen kanskje mer valide tall å forholde seg til. Hvor presise de er kan man kan man enkelt avstemme ved å besøke statistikken vår.
rune røsten 
Tror dette avviket kan skyldes aldersammensetningen i utvalget til TNS-gallup.
Vi ved SINTEF publiserer lignende tall (fra mai juni 2009) i løpet av denne uka. Der finner vi tall som samsvarer med TNS Gallup.
SINTEF har tall for aldersgruppen 15-75 år og får slik sett ikke med alle de som bruker tjenesten mellom 10-15 år. Jeg antar at Nettby kan ha en del brukere i dette segmentet som da ikke fanges opp.
Vi finner følgende:
5% er innom Nettby en eller flere ganger i måneden
2% en eller flere ganger i uken
3% daglig
2% vet ikke
88% aldri eller nesten aldri innom nettby.
Av de mellom 15-30 år er det hele 8% som bruker Nettby daglig.
Vi finner som TNS-gallup at Facebook har 35% daglig brukere. At tallene samsvarer såpass bra lover bra med tanke på undersøkelsens validitet.
Kommentar av Petter Bae Brandtzæg — november 2, 2009 @ 09:53 |
Hvis TNS Gallup starter med 15 år (hvorfor det?) kan det forklare noe av avvviket, men neppe alt. Nettby har mange brukere under 15 år, men de mest aktive hos oss er jenter på 15 og 16 år og de er innenfor TNS Gallups intervall. Jeg skal se om vi kan få ut statistikk som viser den daglige andelen fra 14 år og nedover.
For øvrig: At flere undersøkelser peker i samme retning kan bety at tallene faktisk er valide – eller at de har samme feilkilde.
Kommentar av runermm — november 2, 2009 @ 10:08 |
Som Petter sier her kan noe av forklaringen være at utvalget vi har i undersøkelsen ikke dekker Nettbys fulle målgruppe. Vi har trukket et landsrepresentativt utvalg av de 15+. Alt under 15 tas ikke høyde for i vår analyse.
En annen ting som er relevant i tilfellet Nettby og InterBuss er stabiliteten i målingene. Fra vi startet å måle Nettby i første kvartal 2007 har det beveget seg fra 7% til 4% ukentlige brukere, med en foreløpig topp i Q2-2009 med 8%. Det vil si at det er noe bevegelse, men ikke spesielt stor bevegelse. Gjennomsnittet i hele perioden er på 6,36% ukentlig dekning.
Hadde forøvrig vært interessant å vite hvor mange daglige eller ukentlige brukere dere har som faller utenfor både våre og SINTEFs målinger.
Kommentar av Hans Martin Cramer — november 2, 2009 @ 10:21 |
Våre brukertall oppdateres løpende og er tilgjengelig for alle Nettby-borgere på http://www.nettby.no/last/last_visits.php
De siste oppdaterte tallene:
* 225 901 siste 24 timer
* 347 197 siste uke
* 423 814 fire siste uker
Jeg var ikke klar over at man ikke hadde anledning til å spørre de under 15 år uten foreldrenes samtykke. Skulle dog tro at 14-åringer allerede blir utsatt for verre ting enn TNS Gallup, men, men.
At brukertallene for Nettby er relativt stabile det siste året stemmer for øvrig med våre egne målinger.
Kommentar av runermm — november 2, 2009 @ 10:49 |
@runermm Vi, som alle andre analyseinstitutt, er budet av ESOMARS (http://esomar.com/) etiske retningslinjer som krever at vi trenger foreldres samtykke hvis vi skal intervjue personer under 15 år. Derfor starter så og si alle undersøkelser vi gjennomfører på 15+.
Kommentar av Hans Martin Cramer — november 2, 2009 @ 10:23 |
Da har @androa gravd fram brukertallene fordelt på alder: I løpet av de siste 24 timene har 222 000 logget set på Nettby. Av disse er 159 000 femten år eller eldre, de resterende utgjør 63 000.
Det betyr at avviket mot InterBuss til TNS Gallup er på ca 42 000 eller 36%. Eller sagt på en annen måte: Daglig bruk av Nettby i befolkningen over 15 år er 4% og ikke 3% som TNS Gallup oppgir.
Dette avviket er kanskje ikke større enn at det er innenfor normale usikkerhetsmarginer på slike undersøkelser?
Kommentar av runermm — november 2, 2009 @ 12:17 |
Det avviket er innenfor det som er feilmarginen ja. Men dette er jo svært interessant ettersom både våre og Sintefs tall treffer bra. Dette har vi også sett i forbindelse med tall som Facebook har presentert.
Kommentar av Hans Martin Cramer — november 2, 2009 @ 14:26 |
Hvordan stemmer tallene dere kommer fram til i forhold til tall som blir presentert fra Facebook?
Kommentar av André Roaldseth — november 2, 2009 @ 15:11
Ad 15 år-grensen for InterBuss: Geir Larsen har gjort meg oppmerksom på følgende innledning TNS Gallups Forbruker & Media-undersøkelse:
Da må vel dere kunne intervju 12-, 13- og 14-åringer i InterBuss-undersøkelsen også? Disse aldersgruppene er jo storforbrukere av sosiale medier og det bør reflekteres i undersøkelsene.
Kommentar av runermm — november 2, 2009 @ 12:58 |
Det stemmer. I Forbruker&Media, i telefondelen, intervjues barn ned til 12 år, men da med foreldres samtykke. Dersom vi skal ha med barn i andre undersøkelser, blant annet på undersøkelser som sendes ut til GallupPanelet på nett, så ber vi i aktuelle tilfeller om at foreldre svarer på undersøkelsen sammen med barna. Det er ikke tilfellet i InterBuss.
Kommentar av Hans Martin Cramer — november 2, 2009 @ 14:17 |
@André Roaldseth – Vi gjorde en test i vår der vi sjekket våre tall fra InterBuss opp mot de tallene Facebook brukte i sine presentasjoner og her var variasjonen på samme nivå. Våre tall var 12% under Facebooks totaltall. Facebook oppgav selv på den tiden at 15% av de månedlige brukerene var under 18 år. Ved å beregne antallet medlemmer mellom 15 og 18 år hadde våre tall tilsvarende avvik som det det ble i Nettbys tilfelle nå.
Kommentar av Hans Martin Cramer — november 2, 2009 @ 15:53 |