Evolusjonen av big data

På begynnelsen av 2000-tallet var det tydelig at det var et stort behov for innovasjon når det gjelder data. Begrensninger i hva firmaer kunne gjøre med sine data frustrerte ledere og reduserte effektiviteten enormt. Mange selskaper lagret enorme mengder informasjon, men klarte ganske enkelt ikke å administrere, analysere eller manipulere den til deres fordel. Det er dette økende presset som ga vei til big data-grensen.

I 2003 opprettet Google MapReduce, et dataprogram som tillot firmaet å behandle og analysere informasjon om søket på flere tusen servere på kort tid. Både skalerbart og tilpasningsdyktig ga programmet Google mulighet til å utføre tusenvis av dataoppgaver på få minutter, noe som forbedret produktiviteten og omdefinerte opplevde grenser for hva som kunne gjøres med data. Nesten 10 år senere har big data blitt et sentralt grunnlag for informasjonsteknologi. Dets vidstrakte omfang og evne har fundamentalt endret datahåndtering på arbeidsplassen. Men hva har ført til denne utviklingen og hvordan nøyaktig vil store data påvirke fremtiden? Vi trodde du aldri ville spørre. (For litt bakgrunnslesing på big data, kan du sjekke Big Data: How It Captured, Crunched and Used to Make Business Decisions.)

Søker svar på Big Data-spørsmål

Det fine med MapReduce var måten det forenklet svært komplekse oppgaver på. Kommunikasjon kan styres på tvers av maskiner, systemfeil kan adresseres og inndatadata kunne organiseres automatisk, en prosess som kunne overvåkes av individer som ikke lenger trengte høye tekniske ferdigheter. Ved å gjøre databehandling ikke bare mulig, men tilgjengelig, inspirerte Google et kulturelt skifte i datahåndtering. Det gikk ikke lang tid før tusenvis av store firmaer brukte MapReduce til dataene sine.

Men det var ett problem: MapReduce var ganske enkelt en programmeringsmodell. Mens det forenklet det grunnleggende om databehandling, var det ikke i seg selv svaret på eksisterende mangler; det var bare et sårt tiltrengt trinn i riktig retning. Selskaper hadde fremdeles behov for et system som kunne imøtekomme deres unike databehov og gå utover det helt vesentlige av datahåndtering. Kort sagt, teknologien som trengs for å utvikle seg.

Gå inn i Hadoop

Gå inn i Hadoop, en åpen kildekode-programvare laget av flere programmerere, inkludert Doug Cutting. Der MapReduce var grunnleggende og bred, ga Hadoop en forfriskende spesifisitet. Bedrifter kunne designe egne skreddersydde applikasjoner som adresserte databehov på måter som ingen annen programvare kunne, og det var generelt kompatibelt med andre filsystemer. Et firma med dyktige programmerere kunne designe et filsystem som ville oppnå unike oppgaver med data som virket utilgjengelige før. Den beste delen med det var muligens at utviklere ville dele applikasjoner og programmer mellom hverandre som kunne bli forklart og perfeksjonert.

Ved å demokratisere en så viktig ressurs, ble Hadoop en trend. Tross alt, at mange store selskaper, spesielt søkemotorfirmaer, følte at de hadde trengt det i flere tiår! Det gikk ikke lang tid før søkemotorgiganter som Yahoo kunngjorde implementeringen av store Hadoop-applikasjoner som genererte data som ble brukt i web-søk. I det som virket som en bølge, kunngjorde flere fremtredende selskaper bruk av denne teknologien for deres massive databaser, inkludert Facebook, Amazon, Fox, Apple, eBay og FourSquare. Hadoop satte den nye standarden for databehandling.

Big Data, store problemer

Mens fremskritt innen datateknologi har omformet måten bedrifter behandler data, finner mange ledere dem fremdeles uutstyrte for hele spekteret av nødvendige oppgaver. I juli 2012 ga Oracle ut en undersøkelse av mer enn 300 ledere på C-nivå, som avslørte at mens 36 prosent av selskapene er avhengige av IT for å administrere og analysere data, mener 29 prosent av dem at systemene deres mangler tilstrekkelige evner til å møte selskapenes behov. Det kanskje mest påfallende funnet av studien var at 93 prosent av de spurte mente at firmaet deres tapte opptil 14 prosent av omsetningen ved å ikke kunne bruke innsamlede data. Det er inntekter som kan brukes på å lage bedre produkter og ansette flere arbeidere. I en tid der selskaper sliter med å holde seg lønnsomme, er det nødvendig å forbedre data slik at firmaer kan bli mer lønnsomme. Undersøkelsen indikerer at til tross for de som tror at big data-innflytelse på handel allerede har passert, har mulighetene for vekst og avansement den har ennå ikke blitt realisert.

Hva fremtiden rommer for Big Data

Den gode nyheten er at Hadoop og MapReduce har inspirert mange andre dataadministrasjonsverktøy. Mange nye selskaper lager omfattende dataplattformer som kjører på Hadoop, men tilbyr et bredt utvalg av analytiske funksjoner og enklere systemintegrasjon. Det ser ut til at selskaper har investert mye ressurser i å håndtere dataproblemer, og den økonomiske suksessen til datafirmaer har vært et bevis på dette. I 2010 omsatte datafirmaer for 3, 2 milliarder dollar i detaljomsetning. Mange eksperter har estimert at dette antallet vil vokse til hele 17 milliarder dollar innen 2015 alene. Dette er et faktum som ikke har gått tapt på noen av de største teknologiselskapene. Både IBM og Oracle har brukt milliarder de siste månedene på å skaffe seg datafirmaer. Mange andre firmaer vil gjøre lignende trekk de kommende årene når de fortsetter å kjempe for en konkurransedyktig markedsandel.

The Big Data Frontier

Mengden data som samles inn fortsetter å vokse eksponentielt, noe som har noen bekymret og andre begeistret. Oppsiden er at mennesker vil fortsette å bli mer produktive og tilpasningsdyktige når vi lærer nye ting om vår verden gjennom analyse av data. Ulempen er at det er så enorme datamengder at mange frykter at vi ikke er i stand til å lagre det hele, mye mindre ordentlig administrere det slik at det kan brukes av alle som trenger det.

Når det er sagt, kan fremskritt i big data gi enestående muligheter for løsninger på presserende problemer angående data. Eksperter har for eksempel antydet at hvis big data ble implementert på riktig måte med vekt på effektivitet og kvalitet, ville det ha potensial til å spare rundt 300 milliarder dollar per år bare i helsevesenets utgifter; detaljister ville være i stand til å forbedre driftsmarginene, offentlig sektor kunne tilby bedre tjenester og store bedrifter ville spare milliarder. Og så ser det ut til at det ikke bare er behov for å løse dataspørsmål i selskapets styrerom, men overalt. Som sier gode ting om big data's fremtid - og kanskje vår også.