Innholdsfortegnelse:
Definisjon - Hva betyr MapReduce?
MapReduce er en programmeringsmodell introdusert av Google for behandling og generering av store datasett på datamaskiner.
Google formulerte først rammene for å tjene Googles indeksering av nettsider, og den nye rammen erstattet tidligere indekseringsalgoritmer. Nybegynnerutviklere synes MapReduce-rammeverket er gunstig fordi bibliotekrutiner kan brukes til å lage parallelle programmer uten å være bekymret for infra-cluster-kommunikasjon, oppgaveovervåkning eller feilhåndteringsprosesser.
MapReduce kjører på en stor klynge varemaskiner og er høyst skalerbar. Den har flere implementeringsformer levert av flere programmeringsspråk, for eksempel Java, C # og C ++.
Techopedia forklarer MapReduce
MapReduce-rammeverket har to deler:
- En funksjon som heter "Kart", som lar forskjellige punkter i den distribuerte klyngen distribuere arbeidet sitt
- En funksjon kalt "Reduce", som er designet for å redusere den endelige formen for klyngenes resultater til en utgang
Hovedfordelen med MapReduce-rammeverket er dens feiltoleranse, der periodiske rapporter fra hver node i klyngen forventes når arbeidet er fullført.
En oppgave overføres fra en node til en annen. Hvis hovednoden merker at en node har vært stille i et lengre intervall enn forventet, utfører hovednoden omfordelingsprosessen til den frosne / forsinkede oppgaven.
MapReduce-rammeverket er inspirert av funksjonene "Map" og "Reduce" som brukes i funksjonell programmering. Beregningsbehandling skjer på data som er lagret i et filsystem eller i en database, som tar et sett med inngangsnøkkelverdier og produserer et sett med utgangsnøkkelverdier.
Hver dag blir mange MapReduce-programmer og MapReduce-jobber utført i Googles klynger. Programmer blir automatisk parallellisert og utført på en stor klynge varemaskiner. Kjøretidssystemet omhandler partisjonering av inndataene, planlegging av programmets utførelse på tvers av et sett med maskiner, maskinfeilhåndtering og håndtering av nødvendig kommunikasjon mellom maskiner. Programmerere uten erfaring med parallelle og distribuerte systemer kan enkelt bruke ressursene til et stort distribuert system.
MapReduce brukes i distribuert grep, distribuert sortering, weblink-graf reversering, statistikk for tilgang til logg på nett, dokumentklynger, maskinlæring og statistisk maskinoversettelse.
