Q:
Hvilke omstendigheter førte til økningen av big data-økosystemet?
EN:Det er mange faktorer som bidro til fremveksten av dagens big data-økosystem, men det er en generell enighet om at big data ble til på grunn av en rekke maskinvare- og programvaredesign som ganske enkelt tillot store data å eksistere.
| Webinar: Big Iron, Meet Big Data: Liberating Mainframe Data with Hadoop & Spark Registrer her |
En konvensjonell definisjon av big data er som følger: Datasett som er tilstrekkelig store og komplekse til at de trosser lett iterativ styring eller håndtering for hånd. Store datasett blir ofte identifisert som datasett som ikke passer inn i et enkelt databasenettverk, fordi analysen av dem krever for mye arbeid fra serverne som håndterer dataene.
Med det i bakhodet er en stor del av det som skapte big data ideen vi kjenner som Moores lov, eller doblingen av transistorer på en krets hvert annet år, og skaper stadig mindre maskinvare- og datalagringsenheter (samt kraftigere mikroprosessorer) . I forbindelse med Moore's Law, og sannsynligvis på grunn av dette, fortsatte databehandlingsevnen til tilgjengelige programvaresystemer å øke, til det punktet at til og med personlige datamaskiner kunne håndtere mye større datamengder, og forretnings- og avgangssystemer begynte å kunne håndtere datastørrelser ufattelig bare flere år før. Personlige systemer flyttet fra kilobyte til megabyte, og deretter til gigabyte, i en prosess som er gjennomsiktig for forbrukerne. Vanguard-systemer flyttet fra gigabyte til terabyte og petabyte, og over på størrelsesordener som zetabyte, på måter som var mye mindre gjennomsiktige for den gjennomsnittlige innbygger.
Et annet fremskritt for store data var endringer i måtene behandlerne behandlet datasett på. I stedet for lineær prosessering gjennom en konvensjonell relasjonsdatabasedesign, begynte håndterere å bruke verktøy som Apache Hadoop og relaterte maskinvareadministrasjonsstykker for å eliminere flaskehalser i dataprosesser.
Resultatet er den store dataverdenen vi lever i, der massive datasett lagres og vedlikeholdes i datasentre, og i økende grad nås av et bredt spekter av teknologier for et bredt spekter av bruksområder. Fra handel til økologi, fra offentlig planlegging til medisin, blir big data mer og mer tilgjengelig. I mellomtiden presser myndighetene og andre større organisasjoner fremdeles grensene for store datastørrelser og implementerer enda mer avanserte løsninger.
