Som det er, sier Cloudera-administrerende direktør Mike Olson, Hadoop analytics-plattformen har noen betydelige begrensninger som involverer hastighet og kompleksitet. Bransjeledere - inkludert de som er hos hans eget firma - jobber imidlertid med å endre det, med tillit til at dette forskningsverktøyet vil utvikle seg på grunnleggende måter de kommende årene.
På Strata-konferansen i fjor ba Olson publikum om å forestille seg hvordan Hadoop, hvis den ble opprettet i dag, ville blitt utformet på en annen måte, og antydet at noen spesifikke endringer kunne åpne nye innganger for forskning innen felt som utdanning, energi og jordbruk. Siterende kosmolog og vitenskapelig forfatter Carl Sagan, understreket Olson viktigheten av å bryte ned data på høyt nivå for et større publikum.
"Jeg tror vi er i utkanten av store funn som betyr noe for næringslivet og for samfunnet, " sa Olson.
Et eksempel, bemerket han, er den vitenskapelige oppdagelsen som er gjort mulig av arbeid fra vitenskapelige fagpersoner ved Large Hadron Collider i Sveits. I følge Olson er det den daglige evalueringen av 37 terabyte med data som har ført til viktige fremskritt som vannskillet Higgs-Boson-funnet, som avslørte viktige sider ved materie og energi. Olson la til at Hadoop hjelper til med å bistå i disse grunnleggende forskningsprosjektene ved å fange opp en enorm mengde data i et enkelt depot, men at det er vanskelig å samhandle med disse dataene i sanntid.
Olson utdyper hvordan Hadoop og lignende teknologier kan hjelpe forskere på viktige områder, for eksempel helsehjelp, og kunngjorde også Impala-prosjektet, noe selskapet hans har jobbet med i to år, med to fjerdedel beta-testing i koordinering med større klienter. Impala-prosjektet, sa Olson, er en "100% open source" -teknologi med Apache-lisensiering som fungerer med Hadoop som en "sanntids søkemotor." Dette, sa Olson, tillater det han kaller "hastighet for tenkespørsmål", der brukere kan stille et spørsmål, få svar og formulere et nytt spørsmål for effektivt å bruke store dataklynger.
"Det gir deg en ny måte å få tak i dataene dine på, " sa Olson og beskrev hvordan denne typen fremskritt kan gi flere muligheter for å løse store problemer i USA og i utlandet.
