Innholdsfortegnelse:
Definisjon - Hva betyr Outlier Detection?
Tidligere deteksjon er prosessen med å oppdage og deretter ekskludere outliers fra et gitt datasett.
En utligger kan defineres som et stykke data eller observasjon som avviker drastisk fra den gitte normen eller gjennomsnittet av datasettet. En utligger kan være forårsaket ganske enkelt ved en tilfeldighet, men det kan også indikere målefeil eller at det gitte datasettet har en kraftig distribusjon.
Her er et enkelt scenario i detektering av tidligere mål, en måleprosess gir konsekvent avlesninger mellom 1 og 10, men i noen sjeldne tilfeller får vi målinger på over 20.
Disse sjeldne målingene utover normen kalles outliers siden de "ligger utenfor" normalfordelingskurven.
Techopedia forklarer Outlier Detection
Det er egentlig ingen standardisert og stiv matematisk metode for å bestemme en outlier fordi den virkelig varierer avhengig av settet eller datapopulasjonen, så bestemmelsen og deteksjonen blir til slutt subjektiv. Gjennom kontinuerlig prøvetaking i et gitt datafelt, kan kjennetegn på en utligger etableres for å gjøre deteksjon enklere.
Det er modellbaserte metoder for å oppdage outliers og de antar at dataene alle er hentet fra en normalfordeling og vil identifisere observasjoner eller punkter, som anses å være usannsynlige basert på gjennomsnittlig eller standardavvik, som outliers. Det er flere metoder for å oppdage tidligere mål:
- Grubb's Test for Outliers - Dette er basert på antakelsen om at dataene har normal fordeling og fjerner en outlier om gangen med at testen blir iterert inntil ikke flere outliers kan bli funnet.
- Dixons Q-test - Også basert på normaliteten i datasettet, tester denne metoden for dårlige data. Det er blitt bemerket at dette bør brukes sparsomt og aldri mer enn en gang i et datasett.
- Chauvenets kriterium - Dette brukes til å analysere om utliggeren er falsk eller fremdeles er innenfor grensene og betraktes som en del av settet. Gjennomsnittet og standardavviket blir tatt, og sannsynligheten for at uteliggeren oppstår blir beregnet. Resultatene vil avgjøre om det skal inkluderes eller ikke.
- Pierces kriterium - Det er satt en feilgrense for en serie observasjoner, utover hvilke alle observasjoner vil bli kastet, da de allerede innebærer en så stor feil.
