Innholdsfortegnelse:
Definisjon - Hva betyr edderkopp?
I forbindelse med Internett er en edderkopp en spesialisert programvare designet for systematisk å gjennomsøke og bla gjennom World Wide Web vanligvis med det formål å indeksere websider for å gi dem som søkeresultater for brukersøk. Den mest kjente av slike edderkopper er Googlebot, Googles viktigste crawler, som hjelper deg med å sikre at relevante resultater blir returnert for søk.
Edderkopper er også kjent som webcrawlers, search bots eller ganske enkelt bots.
Techopedia forklarer Spider
En edderkopp er egentlig et program som brukes til å høste informasjon fra World Wide Web. Den gjennomsøker gjennom sidene på nettsteder og henter ut informasjon og indekserer den for senere bruk, vanligvis for søkemotorresultater. Edderkoppen besøker nettsteder og sidene deres gjennom de forskjellige koblingene til og fra sidene, så en side uten en eneste lenke som går til den vil være vanskelig å indeksere og kan bli rangert veldig lavt på søkeresultatsiden. Og hvis det er mange lenker som peker til en side, vil dette bety at siden er populær og at den vil vises høyere opp i søkeresultatene.
Trinn som er involvert i websøking:
- Edderkoppen finner et nettsted og begynner å gjennomsøke sidene.
- Edderkoppen indekserer ordene og innholdet på nettstedet.
- Edderkoppen besøker lenkene som finnes på nettstedet.
Edderkopper eller webcrawlers er bare programmer, og som sådan følger de systematiske regler satt av programmererne. Eiere av nettsteder kan også komme inn på dette ved å fortelle edderkoppen hvilke deler av nettstedet som skal indekseres og hvilke ikke. Dette gjøres ved å lage en "robots.txt" -fil som inneholder instruksjoner for edderkoppen angående hvilke deler som skal indekseres og lenker som skal følges, og hvilke den skal ignorere. De mest betydningsfulle edderkoppene der ute er de som eies av store søkemotorer som Google, Bing og Yahoo, og de som er ment for data mining og research, men det er også noen ondsinnede edderkopper som er skrevet for å finne og samle e-poster for brukeren å selge til selskaper eller for å finne sårbarheter i websikkerhet.
