10 Big data do's and don'ts

Big data gir mye løfte for alle typer bransjer. Hvis disse store dataene utnyttes effektivt og effektivt, kan det ha en betydelig innvirkning på beslutninger og analyser. Men fordelen med big data kan bare oppnås hvis den administreres på en strukturert måte. Den beste fremgangsmåten for big data etableres gradvis, men det er allerede noen klare gjør og ikke må når det gjelder implementering.

Følgende veiledning er basert på praktisk erfaring og kunnskap samlet fra virkelige prosjekter. Her er mine beste big data gjør og ikke gjør.

Involver alle forretningsdeler i et big data-initiativ

Et big data-initiativ er ikke en isolert og uavhengig aktivitet, og involvering av alle forretningsenheter er et must for å få reell verdi og innsikt. Big data kan hjelpe organisasjoner til å utnytte store datamengder og få innsikt i kundeadferd, hendelser, trender, spådommer osv. Dette er ikke mulig med et data-øyeblikksbilde, som bare fanger en del av hele datamengden behandlet i big data. Som et resultat konsentrerer selskapene seg mer og mer om alle typer data som kommer fra alle mulige veier / forretningsenheter for å forstå riktig mønster.

Evaluer alle infrastrukturmodeller for implementering av big data

Datamengden og styringen av dem er en stor bekymring for ethvert big data-initiativ. Fordi big data omhandler petabytes av data, er den eneste løsningen for å håndtere det ved å bruke datasentre. Samtidig må kostnadskomponenten vurderes før du velger og ferdigstiller lagringsanlegg. Skytjenester er ofte det beste valget, men tjenestene i forskjellige skymiljøer må evalueres for å bestemme det aktuelle. Siden lagring er en av de viktigste komponentene i all big data-implementering, er det en faktor som bør evalueres veldig nøye i ethvert big data-initiativ. (Få et annet perspektiv i dagens Big Data Challenge stammer fra variasjon, ikke volum eller hastighet.)

Vurder tradisjonelle datakilder i big data-planlegging

Det er forskjellige kilder til big data, og antall kilder øker også dag for dag. Dette enorme volumet av data blir brukt som input til prosessering av big data. Som et resultat mener noen selskaper at tradisjonelle datakilder ikke er til nytte. Dette er ikke sant, siden disse tradisjonelle dataene er en kritisk komponent for suksess for enhver big data-historie. Tradisjonelle data inneholder verdifull informasjon, så den bør brukes sammen med andre big data kilder. Den virkelige verdien av big data kan bare avledes hvis alle datakilder (tradisjonelle og ikke-tradisjonelle) tas i betraktning. (Lær mer i Take That, Big Data! Hvorfor små data kan pakke et større stempel.)

Tenk på et konsekvent sett med data

I et big data-miljø kommer data fra forskjellige kilder. Formatet, strukturen og datatypene varierer fra en kilde til en annen. Den viktigste delen er at dataene ikke blir renset når det gjelder big data-miljøet. Så før du stoler på innkommende data, må du sjekke konsistensen ved gjentatt observasjon og analyse. Når konsistensen av data er bekreftet, kan de behandles som et konsistent sett metadata. Å finne et konsistent sett metadata ved nøye observasjon av mønsteret er en viktig øvelse i all big data-planlegging.

Distribuer dataene

Datamengden er et stort problem når vi vurderer et prosesseringsmiljø. På grunn av det enorme volumet av data som big data omhandler, er det ikke mulig å behandle på en enkelt server. Løsningen er et Hadoop-miljø, som er et distribuert databehandlingsmiljø som kjører på råvaremaskinvare. Det gir kraften til raskere prosessering på flere noder. (Lær mer i 7 ting å vite om Hadoop.)

Ikke stol på en enkelt Big Data Analytics-tilnærming

Det er forskjellige teknologier tilgjengelig i markedet for behandling av big data. Grunnlaget for alle big data-teknologier er Apache Hadoop og MapReduce. Derfor er det viktig å evaluere riktig teknologi for riktig formål. Noen av de viktige analytiske tilnærmingene er prediktiv analyse, reseptbelagte analyser, tekstanalyse, stream data analytics, etc. Valg av passende metode / tilnærming er viktig for å oppnå ønsket mål. Det er best å unngå å stole på en enkelt tilnærming, men å undersøke ulike tilnærminger og velge det perfekte passet for din løsning.

Ikke start store big data-initiativ før du er klar

Det anbefales alltid å starte med små trinn for ethvert big data-initiativ. Så begynn med pilotprosjekter for å få kompetanse og deretter gå til faktisk implementering. Potensialet med big data er veldig imponerende, men den reelle verdien kan bare oppnås når vi reduserer feilene våre og får mer kompetanse.

Ikke bruk data isolert

Store datakilder er spredt rundt oss og de øker dag for dag. Det er viktig å integrere alle disse dataene for å få riktig analyseutgang. Ulike verktøy er tilgjengelige i markedet for dataintegrering, men de bør evalueres riktig før bruk. Integrering av big data er en kompleks oppgave ettersom dataene fra forskjellige kilder er av forskjellig format, men det kreves veldig for å få et bra analyseresultat.

Ikke ignorere datasikkerhet

Datasikkerhet er en viktig faktor i planlegging av big data. Til å begynne med (før du behandler) er dataene i petabyte, så sikkerheten blir ikke implementert strengt. Men etter litt behandling vil du få et undersett med data som gir litt innsikt. På dette tidspunktet blir datasikkerhet viktig. Jo mer data blir behandlet og finjustert, jo mer verdifull blir det ofte for en organisasjon. Disse fininnstilte utdataene er åndsverk og må sikres. Datasikkerhet må implementeres som en del av livssyklusen for store data.

Ikke overse ytelsesdelen av big data-analyse

Produksjonen av big data-analyse er bare nyttig når den gir god ytelse. Big data gir mer innsikt basert på behandlingen av en enorm datamengde med en raskere hastighet. Derfor er det viktig å håndtere det effektivt og effektivt. Hvis ytelsen til big data ikke administreres nøye, vil det føre til problemer og gjøre hele innsatsen meningsløs.

I diskusjonen vår har vi fokusert på gjør og ikke gjør det med big data-initiativer. Big data er et voksende område, og når det gjelder implementering er mange selskaper fremdeles i planleggingsfasen. Det er viktig å forstå beste data for god data for å minimere risiko og feil. Diskusjonspunktene er avledet fra live-prosjektopplevelser, så det vil gi noen retningslinjer for å gjøre en big data-strategi vellykket.