Q:
Hvorfor snakker maskinlæringseksperter om initialisering av Xavier?
EN:Xavier initialisering er en viktig idé i prosjektering og opplæring av nevrale nettverk. Fagfolk snakker om å bruke Xavier-initialisering for å håndtere varians og måtene signalene dukker opp gjennom nevrale nettverkslag.
Xavier-initialisering er egentlig en måte å sortere innledende vekter for individuelle innganger i en nevronmodell. Nettinngangen for nevronet består av hver individuelle inngang, multiplisert med dens vekt, som fører inn i overføringsfunksjonen og en tilhørende aktiveringsfunksjon. Tanken er at ingeniører ønsker å administrere disse innledende nettverksvektene proaktivt, for å sikre at nettverket konvergerer riktig med passende varians på hvert nivå.
| Gratis nedlasting: Machine Learning og Why It Matters |
Eksperter påpeker at ingeniører til en viss grad kan bruke stokastisk gradient nedstigning for å justere vekten til inngangene i trening, men at hvis de starter med feil vekt, kan det hende at de ikke konvergerer riktig da nevroner kan bli mettede. En annen måte som noen fagpersoner uttrykker dette er at signaler kan "vokse" eller "krympe" for mye med ukorrekte vekter, og det er derfor folk bruker Xavier-initialisering i samsvar med forskjellige aktiveringsfunksjoner.
En del av denne ideen er relatert til begrensningene i å håndtere systemer som ennå ikke er utviklet: Før trening jobber ingeniører på noen måter i mørket. De vet ikke dataene, så hvordan vet de hvordan de skal vekt på de første inngangene?
Av den grunn er Xavier-initialisering et populært samtaleemne i programmering av blogger og fora, ettersom fagpersoner spør hvordan de skal bruke det på forskjellige plattformer, for eksempel TensorFlow. Denne typen teknikker er en del av raffinering av maskinlæring og kunstig intelligens design som har stor innvirkning på fremgangen i forbrukermarkeder og andre steder.
