Q:
Hvordan kan ingeniører evaluere treningssett og testsett for å få øye på mulig overmasse i maskinlæring?
EN:For å forstå hvordan dette gjøres, er det nødvendig å ha et grunnleggende grep om rollene til forskjellige datasett i et typisk maskinlæringsprosjekt. Opplæringssettet er satt opp for å gi teknologien en referanseramme - en datagrunnlag som programmet bruker for å ta forutsigbare og sannsynlige beslutninger. Testsettet er der du tester maskinen ut på data.
Overfitting er et syndrom i maskinlæring der modellen ikke passer helt til dataene eller formålet.
| Gratis nedlasting: Machine Learning og Why It Matters |
Et av de overordnede budene for maskinlæring er at treningsdata og testdata skal være separate datasett. Det er ganske bred enighet om dette, i alle fall i mange applikasjoner, på grunn av noen spesifikke problemer med å bruke det samme settet som du brukte til trening for å teste et maskinlæringsprogram.
Når et maskinlæringsprogram benytter et treningssett, som i det vesentlige kan kalles et sett med innspill, arbeider det av det treningssettet for å ta beslutninger om forutsigbare resultater. En veldig grunnleggende måte å tenke på det er at treningssettet er "maten" for den intellektuelle databehandlingsprosessen.
Når det samme settet brukes til testing, kan maskinen ofte gi gode resultater. Det er fordi den allerede har sett de dataene før. Men hele målet med maskinlæring i mange tilfeller er å gi resultater om data som ikke har blitt sett før. Generelle formålslæringsprogrammer er laget for å operere på forskjellige datasett. Med andre ord, prinsippet om maskinlæring er oppdagelse, og du får vanligvis ikke så mye av det ved å bruke et opplæringssett for testformål.
Ved å evaluere treningssett og testsett for mulig overmontering, kan ingeniører vurdere resultater og finne ut hvorfor et program kan gjøre det annerledes på sammenligningsresultatene til disse to settene, eller i noen tilfeller hvordan maskinen kan gjøre for bra på selve treningsdataene. .
I en kapabel beskrivelse av noen av disse problemene i maskinlæring i et stykke fra 2014, beskriver Jason Brownlee på Machine Learning Mastery å overmasse på denne måten:
"En modell som er valgt for sin nøyaktighet på treningsdatasettet fremfor sin nøyaktighet på et usett testdatasett, er sannsynligvis lavere nøyaktighet på et usett testdatasett, " skriver Brownlee. "Årsaken er at modellen ikke er like generalisert. Den har spekalisert til strukturen i treningsdatasettet (kursiv lagt til). Dette kalles overmontering, og det er mer lumske enn du tror."
I permisjoner kan du si at når du spesialiserer seg til treningsdatasettet, blir programmet for stivt. Det er en annen metaforisk måte å se på hvorfor et maskinlæringsprogram ikke er optimalt tjent med å bruke treningssettet for testsettet. Det er også en god måte å tilnærme seg evaluering av disse to forskjellige settene, fordi resultatene vil vise ingeniører mye om hvordan programmet fungerer. Du vil ha et mindre gap mellom nøyaktighet for begge modeller. Du vil forsikre deg om at systemet ikke er overfed eller "presisjonssikret" til et bestemt datasett, men det er mer generelt og i stand til å vokse og utvikle seg på kommando.
