En fascinerende presentasjon av Kate Crawford, hovedforsker ved Microsoft Research, på Strata-konferansen i 2013, ser nærmere på big data og hva det betyr, og utforsker noe av det Crawford kaller "algoritmiske illusjoner" og begrensningene i storskala dataløsninger. som omfavnes i mange deler av næringslivet.
Ved å bruke en grunnleggende analogi til en optisk illusjon som involverer en spinnende katt, gjør Crawford saken at selv om big data er viktig for mange forretningsapplikasjoner, er det mer enn en måte å tolke mange av resultatene fra datasett som kan virke objektiv for menneskelige beslutningstakere .
"Ting kan sees annerledes, " sa Crawford og siterte et papir der hun og medforfatter David Boyd reflekterer over noen hovedprinsipper for bruk av big data, inkludert det Crawford kaller "mytologi", eller troen på at big data bringer absolutt sannhet og objektivisme til et prosjekt. Ledere, sa hun, forbinder ofte store data med et objektivt fugleperspektiv, mens de ignorerer det hun kalte de tre grunnleggende begrensningene eller betraktningene som kan påvirke denne objektiviteten på viktige måter: skjevhet, signal og skala.
Fra begynnelse av skjevhet bruker Crawford eksempler på flom i Australia og USA for å vise at big data ikke alltid samsvarer med virkeligheten på gaten. Hun binder sammen det andre prinsippet, signaliserer, og illustrerer videre hvordan datasett kan gjenspeile skjulte virkeligheter som tungt kan skjule resultatene. Som et eksempel siterte Crawford de mange forskjellige verdenskartene som er utviklet for å vise et objektivt syn på kontinentets og nasjoners relative størrelse.
"Kartene er ikke nøytrale, " sa Crawford. "Vi tar valg hver gang vi bestemmer oss for å representere dataene våre."
For å illustrere prinsippet ytterligere, bruker Crawford eksemplet på en applikasjon som rapporterer om jettegryter i Boston til byens embetsmenn, og antyder at disse appene som fungerer på smarttelefoner og mobile enheter kan ende opp med å få generelle rapporter til å se ut som folketellingskart som indikerer relativ alder og inntekter på tvers av en by eller kommune.
"Vi risikerer å ytterligere forankre bestemte typer sosial ulikhet, " sa Crawford og pekte på dem som kan bli stående utenfor et gitt stort datasett på grunn av forskjeller i teknologibruk.
"Hva skjer hvis du lever i skyggen av store datasett?" hun sa.
I tillegg snakker Crawford også om forskning fra år siden som stilte spørsmål ved om informasjon på høyt nivå alltid representerer mer detaljerte data og om et "objektivt panorama" alltid fungerer som en mer nøyaktig representasjon enn data i mindre skala. Crawford ber også lytterne tenke ikke bare på big data, men på "data med dybde." Med dette mener hun data som virkelig leder leserne mot objektiv virkelighet, snarere enn å skjule over detaljer med en mer global tilnærming som, selv om det er lettere å forstå, kan utelate sentrale elementer i det som faktisk eksisterer.
