Q:
Hvorfor er "informasjonsflaskehalsen" en viktig teori i dyp læring?
EN:Ideen om en "informasjonsflaskehals" i kunstige nevrale nettverk (ANN) opererer på et spesielt prinsipp relatert til spredning av forskjellige slags signaler. Det blir sett på som et praktisk verktøy for å undersøke avveiningene som gjør at disse kunstige intelligenssystemene blir selvoptimaliserte. En Wired-artikkel som beskriver informasjonsflaskehalsbegrep presentert av Tishby et. al. snakker om "å kvitte støyende inputdata med fremmede detaljer som om å presse informasjonen gjennom en flaskehals" og "beholde bare funksjonene som er mest relevante for generelle konsepter."
Som et relativt nytt konsept kan informasjonsflaskehalsideen bidra til å forbedre og endre hvordan vi bruker ANN-er og relaterte systemer for å modellere kognitiv funksjon. En måte denne teorien kan hjelpe er ved å hjelpe oss å bedre forstå paradigmene som støtter nevrale nettverksfunksjoner. For eksempel, hvis prinsippet illustrerer hvordan bare et bestemt funksjonssett beholdes av systemet, begynner vi å se hvordan denne "datadiskriminering" gjør at et nettverk "aper" den menneskelige hjernen, og ingeniører kan legge det til i nevrale nettverksmodeller. Ideen her er at etter hvert vil nevrale nettverksteknologi bli mer et "universelt" konsept, ikke bare provinsen til privilegerte få. For tiden er selskaper på jakt etter knappe AI-talent; teorier som informasjon flaskehalsteorien kan bidra til å spre kunnskap om nevrale nettverk til lekmann og til "mellombrukere" - de som kanskje ikke er "eksperter", men kan hjelpe til med fremveksten og formidlingen av nevrale nettverksteknologier.
En annen viktig verdi av informasjonsflaskehalsen er at ingeniører kan begynne å trene systemer for å fungere på en mer presis måte. Å ha noen toppnivå-retningslinjer for systemarkitektur kan effektivisere utviklingen av denne typen teknologier, og det å ha en mer definert idé om dype læringsprinsipper er derfor verdifullt i IT-verdenen.
Generelt vil fortroppen som arbeider med AI fortsette å se nærmere på hvordan nevrale nettverk fungerer, inkludert ideen om "relevant informasjon" og hvordan systemer diskriminerer for å utføre funksjoner. Et eksempel er i bilde- eller talebehandling, der systemer må lære å identifisere mange varianter som "objekter." Generelt viser informasjonsflaskehalsen et bestemt syn på hvordan et nevralt nettverk vil fungere med disse objektene, og spesifikt hvordan disse datamodellene prosessere informasjon.
