Facebook-historie fyldt med fejl spreder sig

Publiceret 07.12.2009

Det lille bureau Komfo har lavet en undersøgelse af Facebook-udbredelsen i Danmark. Den har fået en del omtale hos bl.a. Mediawatch, Erhvervs Bladet, Ekstra Bladet og Politiken. Men undersøgelsen er desværre et eksempel på, hvad der kan ske, hvis man ikke har ordentligt styr på sit talmateriale – og på hvor let en fejlbehæftet historie spreder sig til medierne, hvis bare den er god.

Kort fortalt har bureauet forsøgt at udregne Facebook-udbredelsen i forskellige byer ved at bruge Facebooks egne tal fra deres annonceringsværktøj. Det har de så divideret med antal indbyggere i kommunerne og dermed nået frem til så opsigtsvækkende forskelle som at udbredelsen i København er 87 %, mens den i Dragør er 1 %.

Når man får sådanne tal, burde enhver metodisk grundskoling byde en, at man burde spørge sig selv, om det nu virkelig kan passe. Men det har man ikke gjort. I stedet er historien spredt udover medierne – og tilsyneladende uden kildekritik. Det er et af de mest grelle danske eksempler på det fænomen, Nick Davis har døbt churnalism (“Nå ja, det lyder da som en god historie, og der er masser af flotte diagrammer i rapporten. Det passer nok!”).

Hvad er problemet med rapporten?
For det første mangler rapporten fuldstændig kritisk selvrefleksion. Kan så overraskende tal virkelig passe?

Det kan de næppe. Der kan være mange gode grunde til, at folk fra Dragør tilsyneladende ikke er på Facebook: Først og fremmest angiver brugere, selv hvor de bor, og det sker ikke med geografisk nøjagtighed. De kan for eksempel have skrevet København (eller Copenhagen eller Amager eller noget helt tiende) i deres profil, og dermed være en del af forklaringen på den tilsyneladende ekstreme udbredelse i København. Og så har rapporten en lidt mærkværdig sammenblanding af begrebet “en by” og “en kommune”. Der er jo med de nye storkommuner ikke overensstemmelse mellem byen og kommunen i indbyggertal.

Det kan også bare være en talfejl i annonceringsværktøjet, der jo netop ikke er et statistisk værktøj, men derimod giver et estimat over udbredelsen i et område. Der netop kun er et estimat og ikke egnet til at lave statistik på. Mere valide tal vil man for eksempel kunne få hos FDIM.

Desværre er der ikke nogen hos hverken Komfo eller en række danske medier, der har reflekteret over fejlene. Ærgerligt. Tværtimod skærper medierne vinklingen yderligere med bizarre overskrifter om, at “flere byer vender ryggen til Facebook”.

PS: De tal, Komfo har om spredning på alder og køn virker knap så utroværdige. Det er bare ikke dem, medier fortæller om…

  1. 07.12.09 at 23:11

    har skrevet et langt og vrissent blog-indlæg om mediernes manglende kritiske distance til tåbelige undersøgelser #komfo http://bit.ly/5YSpzI

    This comment was originally posted on Twitter

  2. 07.12.09 at 23:24

    RT @mortengade: har skrevet et vrissent blog-indlæg om mediernes manglende kritiske distance til tåbelige undersøgelser http://bit.ly/5YSpzI

    This comment was originally posted on Twitter

  3. 07.12.09 at 23:50

    RT @mortengade har skrevet vrissent blog-indlæg om mediernes manglende kritiske distance til tåbelige undersøgelser http://bit.ly/5YSpzI

    This comment was originally posted on Twitter

  4. 08.12.09 at 07:56

    Hej Morten,

    Det er mig, der haft ansvaret for vores undersøgelse hos Komfo. Jeg er for så vidt enig i den usikkerhed, som du påpeger i forbindelse med de oplysninger brugerne indtaster om dem selv – og den usikkerhed som der givetvis er i Facebooks annonceringsværktøj. En usikkerhed som vi også påpeger i vores datagrundlag.

    Nå det er sagt har vores mål med undersøgelsen ikke været at skabe et validt grundlag for Facebooks udbredelse, men snarere, at rykke lidt ved folks opfattelse af Facebook som hele Damarks netværk. Tal fra undersøgelsens datakilder florerer kontant i medier i det meste af verden – det eneste nye vi har gjort er at sætte det op på en pæn måde.

    Grundlæggede mangler der dokumentation og statistik for udbredelsen af Facebook i Danmark og vi håber vores undersøgelse kan være med til at provokere nogle af de mennesker i Danmark, som faktisk har forstand på statistik, så vi kan få nogle dækkende og valide undersøgelser frem i lyset.

    Det er neutrale og kritiske øjne (som dine!), der er brug for – jeg er jo i forvejen noget biased af min store kærlighed til Facebook…

    PS. Er også selv noget overrasket over måden historien blev håndteret i medierne – har ikke haft en eneste kritisk journalist i røret.

  5. Birger Morgenstjerne
    08.12.09 at 09:53

    Hej Rasmus,

    Nu er jeg også nødt til at skrue bissen på, da du efter min mening trækker lidt i land. Indledningsvis skriver du i undersøgelsen:

    “Dog foreligger der utrolig lidt dokumentation af udbredelsen af netværket i Danmark, og de fleste artikler og analyser bygger på antagelser og generelle tal…Da vi er et firma, der arbejder professionelt med Facebook som kommunikationsplatform, er vi afhængige af, at vi og vores kunder kan tage vigtige strategiske beslutninger på et så solidt grundlag som muligt…Vi håber derfor, at undersøgelsen vil medvirke til at skabe en bedre forståelse for udbredelsen og brugen af Facebook i Danmark.”

    Men nu siger du, at målet med undersøgelsen er at rykke ved folks opfattelse af FB. Bygger jeres undersøgelser ikke lige netop på “antagelser og generelle tal”, som denne undersøgelser gør op med?! Håber i hvert fald ikke, at I bruger dem over for jeres kunder, så de kan tage beslutninger “på et så solidt grundlag som muligt”.

    Det er ligeledes svært at tro, at I ikke selv har plantet historien hos medierne. Og ja, så kan du vaske dine hænder ved at henvise til ukritiske journalister og note om usikkerhed til allersidst i undersøgelsen, men det ændrer ikke ved det faktum at I er med til at give fordrejet billede af udbredelsen af FB (som I paradoksalt nok påstår i kæmper imod).

    Sorry, det lyder ikke som om I hverken vil rykke på folks opfattelse af FB, hjælpe virksomheder med bedre forståelse eller opfordre til mere valide undersøgelser, som I påstår, men derimod lidt tyndt forsøg på at komme i medierne, fordi journalisterne (måske) æder historien råt. Og ja, stor kritik til journalisterne, men jeg må give Morten ret i, at I også selv har en stor del af ansvaret for det.

  6. 08.12.09 at 10:46

    Nå jeg er da heldigvis ikke den eneste, der undrer mig over “Den store Facebook-analyse” http://bit.ly/8oDgix

    This comment was originally posted on Twitter

  7. 08.12.09 at 12:28

    http://mortengade.dk/2009/facebook-historie-fyldt-med-fejl-spreder-sig/

    This comment was originally posted on Twitter

  8. 08.12.09 at 18:40

    Hej Rasmus

    Der er ikke tale om usikkerhed. Men om at sprede tal, der i bedste fald er naivt behandlede. Sad du faktisk som ansvarlig og tænkte “Ja, det kan da godt passe. Der er 67 gange så mange københavnere som Dragør-borgere på Facebook.” ? Og så du ikke selv problemet i at lave en undersøgelse, hvor by-begrebet og kommune-begrebet bliver rodet så mærkværdigt sammen?

    Der mangler grundlæggende slet ikke statistik for udbredelsen af Facebook i Danmark. FDIM laver noget af den bedste mediestatistik i verden, og via deres tal kan man finde ganske udmærkede indikatorer af udbredelsen i forskellige regioner. Det har de dokumenteret i talrige undersøgelser. Bl.a. den her, som jeg var med til at skrive for halvandet års tid siden: http://mortengade.dk/2008/fdim-rapporten-danskernes-brug-af-internettet/

    Hvis du vil have endnu mere uddybende tal, kan du kontakte FDIM eller tidl. direktør i FDIM, nu selvstændig konsulent, Jon Lund på http://www.jon-lund.com.

    Og som Birger så rigtigt fremhæver, skriver I jo netop i rapporten, at I vil give et “solidt” grundlag til “strategiske beslutninger” (hvad det så end betyder). Det er vel omtrent det modsatte af det, du skriver ovenfor.

  9. 08.12.09 at 19:42

    Fint indlæg om ‘churnalism’ i danske medier: http://tr.im/H2ty (via @dseneste) #journaliskidt

    This comment was originally posted on Twitter

  10. 08.12.09 at 21:20

    Meget enig, Morten. Som du siger: Forskellen på denne sag og andre tilsvarende er at Facebookrapportens tal er så himmeltråbende fjollede at ikke den mest ydmyge avis-praktikant har en undskyldning at gemme sig bag.

    Personligt er jeg ret ligeglad med hvad små virksomheder finder på at brygge sammen. Dagbladene, derimod, påstår at de leverer netop det filter af kritik, der skal gøre læseren oplyst og handlingskompetent. Og når de så (nogle af dem) i praksis vælger at undergrave denne påstand så skamløst, ja så kan det gøre mig både skuffet og irriteret.

    Du omtaler et vidensvakuum, men det synes jeg er meget venligt. Artiklerne afslører, synes jeg, et decideret ambitions- og seriøsitetsvakuum.

  11. 09.12.09 at 09:00

    @ Birger og Morten

    Tak for jeres berettigede kritik. I skal vide at den er taget til seriøs efterretning – og vil gerne selv fremhæve de to væsentligste fejl, som jeg har begået.

    Første fejl jeg har lavet er mine formuleringer i forordet – det er at gå over stregen i forhold til kvaliteten i undersøgelsen. Det var bestemt ikke i ond tro. Blev nok en tand for forblændet over, at der her var en interessant pointe omkring den ujævne udbredelse af Facebook (som jeg stadig mener er valid nok) og dermed også interessant viden for folk der beskæftiger sig professionelt med netværket. Dette er dog kun én pointe blandt de mange, der skal til, før man kan danne sig et solidt grundlag for en strategisk beslutning. Jeg har efter jeres (og andres) korrekte kritik rettede forordet i en ny version uploadet i går aftes, samt tilføjet nyt til datakritik.

    Anden fejl var ordlyden i den pressemeddelelse som jeg sendte ud – her nævnte jeg selv tallene i undersøgelsen, og de burde ikke have været nævnt. Jeg mener stadig, at der er en interessant (positiv!) historie i undersøgelsen, men ikke i den skala den blev kørt op til. En del af ansvaret for historien ligger dog bestemt hos mig – og min manglende kritiske sans i forhold hvad der burde fremhæves og understreges.

    I forhold til din kommentar til vores rådgivning Birger, vil jeg gerne understrege, at vores pointe til de virksomheder vi arbejder med ikke er, at her er noget statistik som man blindt kan basere sin fremtidige Facebook strategi på. Det som vi vil bede vores kunder om er at overveje/undersøge om Facebook rent faktisk er det rigige værktøj i deres område. På den måde kan denne undersøgelse bestemt have indflydelse på ens strategiske overvejelser. Her ligger vores interesse selvfølgelig i, at de rent faktisk finder frem til er der (validt!) statistisk belæg for at bruge Facebook mere strategisk.

  12. 09.12.09 at 11:19

    Hej Rasmus

    Jeg er glad for, at du indrømmer dine fejl. Jeg synes bare ikke helt, det er nok. Metodeproblemerne er som sagt så store, at tallene for byerne er fuldstændigt ubrugelige. De antyder ikke nogen som helst tendenser for brugen i forskellige byer, men kun én tendens: At folk i overvejende grad skriver store byer som deres bopæl. Det er sikkert interessant sociologisk, men det siger intet om udbredelsen af Facebook forskellige steder. Hvis jeg var dig, ville jeg ikke have ændret undersøgelsen men have trukket den tilbage. Og så have lavet en helt ny med relevante data.

    Og jf. dit svar til Birger, håber jeg virkelig ikke, at der er nogen virksomheder, der træffer såkaldt strategiske beslutninger på baggrund af den undersøgelse.

    God arbejdslyst med Facebook fremover!

    Morten

  13. 09.12.09 at 11:21

    Hej Jonas

    Jeg er meget enig. Det er virkelig sørgeligt. Jeg har sendt et link til de fire journalister, hvis artikler jeg linker til. Der er kun én af dem, der har svaret.

    Hun skriver bl.a.:

    “Det er sikkert helt rigtigt. Jeg forsøgte at angive, at der kan være nogle usikkerheder, men hvis den er helt gal, så er det naturligvis ikke godt nok.”

    og

    “Men du har ret, det med procenterne burde have afskrækket. Vi talte også om, at det var meget, men jeg faldt så i den med, at det var de tætteste tal man kunne komme på, og at det var en indikation af, at der er flest brugere i Kbh. ”

    Suk.

  14. 09.12.09 at 11:52

    Hej Morten

    Er det givet, at Facebook kun estimere brugertal på baggrund af brugernes oplysninger? Dette er hvad de selv siger: “Facebook determines the location of a user based on IP (Internet Protocol) addresses, which can help identify the country or city where a user is physically located. ”

    Hvis estimaterne udelukkende er baseret på brugernes indtastede oplysninger vil jeg give dig ret i, at vores undersøgelse er helt ubrugelig. Hvis der er en sandhed i Facebooks udsagn vil jeg dog mene, at undersøgelsen giver et nogenlunde fornuftigt billede. Dette er grunden til, at jeg ikke har fjernet den – hvor man selvfølgelig fortsat skal være sig usikkerheden bevidst.

  15. 09.12.09 at 13:26

    Hej Rasmus

    IP-adresser er ikke meget mere bevendt til lokalisering af danske byer. Det kan højst give en indikation af landsdel, og er slet ikke fintmasket nok til, at du kan placere hvilken københavnsk forstad, folk bor i.

    For eksempel er min/Bysteds ip-adresse i Tyskland ifølge http://www.hostip.info/. Men mindre unøjagtigheder end det kan også gøre det… Ip-adresser er sjældent delt op ned i så små byer.

  16. 09.12.09 at 17:04

    Hej Morten

    Såfremt Facebooks estimater er skudt så langt ved siden af, som du påstår, så synes jeg da at vores undersøgelse er det mindste problem. Mange annoncører (inkl. os selv) kaster jo mange penge efter social ads i den tro, at man rammer den målgruppe som man angiver.

    Under alle omstændigheder er dette bestemt noget som jeg vil kigge nærmere på – og så fjerne undersøgelsen, hvis jeg måtte komme til samme konklusion.

    Tak for hård men konstruktiv kritik – jeg har bestemt lært en lektie. Også god vind til dig fremover!

  17. 09.12.09 at 20:52

    Selv tak. Det ville klæde jer også at skrive samme forbehold i jeres resume http://komfo.com/nyhedsstroem/facebook-statistik-for-danmark

  18. 10.12.09 at 08:42

    Hej Rasmus

    Jeg kender dig (vi har jo mødtes et par gange) som en både hæderlig og samvittighedsfuld person, så måske du bare er lidt på udebane her?

    Jeg tror at det helt centrale issue her er at Komfo er et udviklingshus som har haft succes med at udgive nogle guides om at bruge facebooks brugerflade (til privatliv etc) og nu ikke helt kunne modstå fristelsen til at træde ind i det mere “socialvidenskabelige” felt, som en demografisk “analyse” jo ligger inden for.

    Måske en idé er at holde jer til jeres kernekompetence og f.eks. opdatere os andre på hvordan Facebook-platformen udvikler sig og fortsat komme med tips til hvordan brugeren kan udnytte den bedst. Jeg tror at det er jeres niche og at det er her, de ting I allerede går og holder jer orienterede om kan komme bedst i spil.

  19. 10.12.09 at 11:34

    @ Morten – jeg skal nok få kigget indlægget efter i sømmene ved første lejlighed og få rettet det til på baggrund af den berettigede kritik, der er blevet rettet i mod rapporten.

    @ Anders – Tak for de pæne ord omkring min person 🙂 Jeg kan heller ikke være uenig i dit syn på sagen – der er en fin grænse mellem at fremlægge vores fakta-viden omkring Facebook platformen og at fremlægge viden som kræver noget mere stillingstagen og indsigt i andre forhold. Her er jeg bestemt blevet en erfaring rigere.

  20. 10.12.09 at 12:37

    @mmark Facebook-historie fyldt med fejl spreder sig. http://bit.ly/5YSpzI

    This comment was originally posted on Twitter

  21. 10.12.09 at 12:40

    Facebook-historie fyldt med fejl spreder sig. http://bit.ly/5YSpzI (via @iThorning) – my bad –

    This comment was originally posted on Twitter

  22. 14.12.15 at 20:18

    I would like to say, your stuff is FANTASTIC.I often wonder what it would be like to diovecsr someone as creatively inclined as myself, perhaps this is that sensation, who knows.. It was rather spooky looking at those sketches you did for But that was [yesterday] , since I could recognize very similar ways that I would brainstorm/sketch just from those sketches. Well anyway I have a proposition for you, if you ever want to collaborate with a piano composer, then feel free to contact me. You can check out my stuff on youtube, I think you’ll be impressed Good luck with whatever you’re working on!

SKRIV KOMMENTAR