Innholdsfortegnelse:
Definisjon - Hva betyr Job Chaining?
Jobbkjetting er et begrep i MapReduce som refererer til å starte flere trinn i den samme MapReduce-oppgaven. Med jobbkjetting sender den første jobben utdata til en jobb, som sender utdata til den neste jobben i kjeden, og så videre til jobben er fullført. Det er en form for rørledning MapReduce jobber for å gjøre dem mer håndterbare.
Techopedia forklarer Job Chaining
Jobbkjetting i MapReduce refererer til å kjøre flere oppgaver i en enkelt MapReduce-jobb.
En jobbkjede kan for eksempel bestå av:
Kart1> Redusere1> Kart2> Reduser2
Fordelen med jobbkjetting er at den eliminerer behovet for mellomliggende data mellom alle trinnene i en rørledning. I den forstand ligner jobbkjetting til input / output omdirigering i Unix-skallet. Utgang fra den ene lenken i kjeden flyter til inngangen i den neste jobben i kjeden. MapReduce lar utviklere spesifisere avhengigheter, eller hvilke jobber som må fullføres før den behandler de neste jobbene i kjeden gjennom bruk av metodeanropet addDependingJob ().
Dette gjør det enklere for en utvikler å skrive et MapReduce-program som kan behandle store datamengder.
