Mikä on Web -indeksoija/hämähäkki ja miten se toimii?

Hakukoneet, kuten Google, ovat osa sitä, mikä tekee Internetistä niin tehokkaan. Muutamalla näppäimen painalluksella ja painikkeen napsautuksella kysymyksesi osuvimmat vastaukset tulevat näkyviin. Mutta oletko koskaan miettinyt, miten hakukoneet toimivat? Web -indeksoijat ovat osa vastausta.

Joten mikä on indeksointirobotti ja miten se toimii?

Mikä on Web -indeksoija?

Kun etsit jotain hakukoneesta, moottorin on skannattava nopeasti miljoonia (tai miljardeja) verkkosivuja näyttääkseen osuvimmat tulokset. Web -indeksoijat (tunnetaan myös nimellä hämähäkit tai hakukonerobotit) ovat automatisoituja ohjelmia, jotka ”indeksoivat” Internetiä ja keräävät tietoja verkkosivuista helposti saatavilla olevalla tavalla.

Sana "indeksointi" viittaa tapaan, jolla indeksointirobotit kulkevat Internetin läpi. Verkkoindeksoijat tunnetaan myös nimellä "hämähäkit". Tämä nimi tulee tavasta, jolla he indeksoivat verkkoa - kuten kuinka hämähäkit indeksoivat hämähäkinverkkojaan.

Verkkoindeksoijat arvioivat ja kokoavat tietoja mahdollisimman monilta verkkosivuilta. He tekevät tämän niin, että tiedot ovat helposti saatavilla ja haettavissa, minkä vuoksi ne ovat niin tärkeitä hakukoneille.

Ajattele web -indeksoijaa editorina, joka kokoaa kirjan lopussa olevan hakemiston. Indeksin tehtävänä on ilmoittaa lukijalle, missä kirjassa kukin keskeinen aihe tai lause esiintyy. Samoin web -indeksointirobotti luo indeksin, jota hakukone käyttää löytääkseen hakukyselystä nopeasti tarvittavat tiedot.

Mikä on haun indeksointi?

Kuten olemme maininneet, hakuindeksointi on verrattavissa kirjan takaosan indeksin laatimiseen. Hakujen indeksointi on tavallaan kuin yksinkertaistetun Internet -kartan luomista. Kun joku esittää hakukoneelle kysymyksen, hakukone käy sen läpi hakemistossaan ja osuvimmat sivut näkyvät ensin.

Mutta miten hakukone tietää, mitkä sivut ovat osuvia?

Hakujen indeksointi keskittyy ensisijaisesti kahteen asiaan: sivun tekstiin ja sivun metatietoihin. Teksti on kaikki mitä näet lukijana, kun taas metatiedot ovat tietoja sivun luojan syöttämästä sivusta, tunnetaan nimellä "meta tagit". Sisällönkuvauskentät sisältävät esimerkiksi sivun kuvauksen ja sisällön otsikon, jotka näkyvät haussa tuloksia.

Googlen kaltaiset hakukoneet indeksoivat kaiken verkkosivun tekstin (paitsi joissakin tapauksissa tiettyjä sanoja, kuten "the" ja "a"). Kun termiä etsitään hakukoneesta, se etsii nopeasti hakemistosta osuvimman sivun.

Miten Web -indeksoija toimii?

Verkkoindeksointi toimii kuten nimestä voi päätellä. Ne alkavat tunnetulta verkkosivulta tai URL -osoitteesta ja indeksoivat kaikki sivut kyseisellä URL -osoitteella (useimmiten verkkosivustojen omistajat pyytävät hakukoneita indeksoimaan tiettyjä URL -osoitteita). Kun he törmäävät hyperlinkkeihin näillä sivuilla, he laativat tehtävälistan sivuista, jotka he indeksoivat seuraavaksi. Verkkoindeksoija jatkaa tätä loputtomiin noudattamalla tiettyjä sääntöjä siitä, mitkä sivut indeksoidaan ja mitkä jätetään huomiotta.

Web -indeksointirobotit eivät indeksoi kaikkia Internet -sivuja. Itse asiassa on arvioitu, että vain 40-70% Internetistä on indeksoitu (mikä on edelleen miljardeja sivuja). Monet indeksointirobotit on suunniteltu keskittymään "arvovaltaisemmiksi" pidettyihin sivuihin. Arvovaltainen sivut sopivat kouralliseen ehtoja, jotka tekevät niistä todennäköisemmin korkealaatuisia tai suosittuja tiedot. Verkkoindeksoijien on myös käytävä sivuja jatkuvasti uudelleen, kun ne päivitetään, poistetaan tai siirretään.

Viimeinen tekijä, joka määrittää, mitä sivuja indeksointirobotti indeksoi, on robots.txt -protokolla tai robottien poissulkemisprotokolla. Verkkosivun palvelin isännöi robots.txt -tiedostoa, joka sisältää säännöt kaikille indeksointiroboteille tai muille ohjelmille, jotka käyttävät sivua. Tiedosto sulkee pois tiettyjen sivujen indeksoinnin ja linkit, joita indeksoija voi seurata. Yksi robots.txt -tiedoston tarkoitus on rajoittaa robottien aiheuttamaa kuormitusta verkkosivuston palvelimelle.

Voit estää indeksointirobottia pääsemästä tietyille verkkosivustosi sivuille lisäämällä disallow -tunnisteen robots.txt -tiedosto tai lisää noindex sisällönkuvauskenttä kyseiselle sivulle.

Mitä eroa on indeksoinnilla ja raapimisella?

Web -kaavinta on botien käyttö tietojen lataamiseen verkkosivustolta ilman kyseisen sivuston lupaa. Usein verkon kaavinta käytetään haitallisista syistä. Web -kaavinta vie usein kaiken HTML -koodin tietyiltä verkkosivustoilta, ja edistyneemmät kaapimet ottavat myös CSS- ja JavaScript -elementit. Web -kaavintatyökalut voidaan käyttää nopeasti ja helposti tietojen keräämiseen tietyistä aiheista (esimerkiksi tuoteluettelosta), mutta voi myös vaeltaa harmaita ja laittomia alueita.

Verkkosivustolla indeksointi puolestaan ​​tarkoittaa tietojen indeksointia verkkosivustoilla luvalla, jotta ne näkyvät helposti hakukoneissa.

Esimerkkejä Web -indeksointirobotista

Jokaisella suuremmalla hakukoneella on yksi tai useampi indeksointirobotti. Esimerkiksi:

• Googlella on Googlebot
• Bingillä on Bingbot
• DuckDuckGossa on DuckDuckBot.

Suuremmissa hakukoneissa, kuten Googlessa, on erityisiä robotteja eri kohteisiin, kuten Googlebot Images, Googlebot Videos ja AdsBot.

Miten web -indeksointi vaikuttaa hakukoneoptimointiin?

Jos haluat sivusi näkyvän hakukoneiden hakutuloksissa, sivun on oltava verkkokäyttäjien käytettävissä. Verkkosivustopalvelimestasi riippuen saatat haluta määrittää tietyn indeksointitiheyden, mitkä sivut indeksointirobotille skannataan ja kuinka paljon painetta ne voivat aiheuttaa palvelimellesi.

Pohjimmiltaan haluat, että indeksointirobotit hioavat sisältöä täynnä olevia sivuja, mutta eivät sivuilla, kuten kiitosviestit, järjestelmänvalvojan sivut ja sisäiset hakutulokset.

Tiedot käden ulottuvilla

Hakukoneiden käyttö on tullut toiseksi luonteeltaan useimmille meistä, mutta useimmilla meistä ei ole aavistustakaan niiden toiminnasta. Web -indeksointirobotit ovat yksi tehokkaan hakukoneen tärkeimmistä osista ja indeksoivat tehokkaasti miljoonien tärkeiden verkkosivustojen tietoja päivittäin. Ne ovat korvaamaton työkalu verkkosivustojen omistajille, kävijöille ja hakukoneille.

Ohjelmointi vs. Verkkokehitys: Mikä on ero?

Saatat ajatella, että sovellusohjelmoijat ja web -kehittäjät tekevät samaa työtä, mutta se on kaukana totuudesta. Tässä ovat tärkeimmät erot ohjelmoijien ja web -kehittäjien välillä.

Lue seuraava

Kirjailijasta