Kuinka oikein määrittää robots.txt-sivustosi

Mainos

Jos sinä ylläpitää verkkosivustoa 10 tapaa luoda pieni ja yksinkertainen verkkosivusto ilman ylikuormitustaWordPress voi olla ylikilpailu. Kuten nämä muut erinomaiset palvelut osoittavat, WordPress ei ole kaikkea loppua verkkosivustojen luomiseen. Jos haluat yksinkertaisempia ratkaisuja, voit valita monista vaihtoehdoista. Lue lisää , olet luultavasti kuullut robots.txt-tiedostosta (tai ”robotien poissulkemisstandardista”). Onko sinulla tai sinulla, on aika oppia siitä, koska tämä yksinkertainen tekstitiedosto on tärkeä osa sivustoasi. Se voi tuntua merkityksettömältä, mutta saatat yllättyä siitä, kuinka tärkeä se on.

Katsotaanpa mikä on robots.txt-tiedosto, mitä se tekee ja kuinka määrittää se oikein sivustoosi.

Mikä on robots.txt-tiedosto?

Ymmärtääksesi kuinka robots.txt-tiedosto toimii, sinun on tiedettävä vähän hakukoneista Kuinka hakukoneet toimivat?Google on monille ihmisille Internet. Se on kiistatta tärkein keksintö itse Internetin jälkeen. Ja vaikka hakukoneet ovatkin muuttuneet paljon siitä lähtien, niiden perusperiaatteet ovat edelleen samat. Lue lisää

. Lyhyt versio on, että ne lähettävät indeksointirobotit, jotka ovat ohjelmia, jotka etsivät tietoa Internetistä. Sitten he tallentavat osan näistä tiedoista, jotta he voivat ohjata ihmisiä siihen myöhemmin.

Nämä indeksointirobotit, jotka tunnetaan myös nimellä botit tai hämähäkit, löytävät sivuja miljardeilta verkkosivustoilta. Hakukoneet antavat heille ohjeita minne mennä, mutta yksittäiset verkkosivustot voivat myös kommunikoida robotien kanssa ja kertoa heille, mitä sivuja heidän pitäisi katsoa.

Suurimman osan ajasta he todella käyttäytyvät päinvastoin ja kertovat heille, millä sivuilla he ovat ei pitäisi katsokaa. Asiat, kuten hallinnolliset sivut, taustaportaalit, luokka- ja tag-sivut ja muut asiat, joita sivuston omistajat eivät halua näkyvän hakukoneissa. Nämä sivut ovat edelleen käyttäjien nähtävissä, ja ne ovat kaikkien, joilla on lupa, pääsyä (joka on usein kaikkien).

Mutta käskemällä hämähäkkejä olematta indeksoimasta joitain sivuja, robots.txt-tiedosto antaa kaikille suosion. Jos hait hakukoneella ”MakeUseOf”, haluatko hallinnollisten sivuidemme olevan korkealla sijoituksella? Ei. Se ei tee kenellekään mitään hyvää, joten pyydämme hakukoneita olemaan näyttämättä niitä. Sitä voidaan käyttää myös estämään hakukoneet tarkastamasta sivuja, jotka eivät ehkä auta luokittelemaan sivustoasi hakutuloksissa.

Lyhyesti sanottuna robots.txt kertoo verkkoindeksoijille, mitä tehdä.

Voivatko indeksoijat sivuuttaa robots.txt-tiedoston?

Ohittavatko indeksoijat koskaan robots.txt-tiedostoja? Joo. Itse asiassa monet indeksoijat tehdä Jätä se huomiotta. Yleensä nämä indeksoijat eivät kuulu hyvämaineisiin hakukoneisiin. He ovat peräisin roskapostittajista, sähköpostien kerääjistä ja muun tyyppiset automatisoidut robotit Kuinka luoda Web-indeksointirobotti tietojen keräämiseksi verkkosivustoltaOletko koskaan halunnut kaapata tietoja verkkosivustolta? Näin kirjoitat indeksoijan indeksoimaan verkkosivustossa ja purkamaan tarvitsemasi. Lue lisää joka vaeltaa Internetiä. On tärkeää pitää tämä mielessä - robotin poissulkemisstandardin käyttäminen robotien ilmoittamiseen poissa pitämiseen ei ole tehokas turvatoimi. Itse asiassa jotkut robotit saattavat alkaa niiden sivujen kanssa, joihin käsket heitä menemään.

Hakukoneet toimivat kuitenkin kuten robots.txt-tiedostosi sanoo, kunhan se on muotoiltu oikein.

Kuinka kirjoittaa robots.txt-tiedosto

On olemassa muutamia eri osia, jotka menevät robotin poissulkemisen standarditiedostoon. Hajotan heidät kumpikin erikseen täällä.

User Agent -ilmoitus

Ennen kuin kerrot robotille, mitä sivuja sen ei pitäisi katsoa, ​​sinun on määritettävä, mihin robottiin puhut. Käytät suurimman osan ajasta yksinkertaista ilmoitusta, joka tarkoittaa ”kaikkia robotteja”. Se näyttää tältä:

Käyttäjä agentti: *

Tähti tarkoittaa "kaikki robotit". Voit kuitenkin määrittää sivut tietyille robotille. Tätä varten sinun on tiedettävä sen robotin nimi, jolle annat ohjeita. Se voi näyttää tältä:

Käyttäjäagentti: Googlebot. [luettelo sivuista, joita ei tarvitse indeksoida] Käyttäjäagentti: Googlebot-Image / 1.0. [luettelo sivuista, joita ei tarvitse indeksoida] Käyttäjäagentti: Bingbot. [luettelo sivuista, joita ei tarvitse indeksoida]

Ja niin edelleen. Jos huomaat botin, jota et halua indeksoida sivustosi ollenkaan, voit myös määrittää sen.

Löydä käyttäjän edustajien nimet käymällä osoitteessa useragentstring.com [Ei enää saatavilla].

Sivujen kieltäminen

Tämä on pääosa robottien poistotiedostostasi. Yksinkertaisella ilmoituksella voit sanoa robotti tai ryhmä robotteja, ettei se indeksoi tiettyjä sivuja. Syntaksi on helppoa. Voit estää pääsyn kaikkeen sivustoosi "admin" -hakemistoon:

Estä: / admin /

Tämä rivi estäisi robotteja indeksoimasta sinun verkkosivusto.com/admin, yoursite.com/admin/login, yoursite.com/admin/files/secret.html ja kaikkea muuta, joka kuuluu järjestelmänvalvojan hakemistoon.

Jos haluat poistaa yhden sivun käytöstä, määritä se vain kieltävälle riville:

Estä: /public/exception.html

Nyt ”poikkeus” -sivua ei vedetä, mutta kaikki muu ”julkinen” -kansio tulee.

Jos haluat sisällyttää useita hakemistoja tai sivuja, luetele ne vain seuraavilla riveillä:

Estä: / yksityinen / Estä: / admin / Estä: / cgi-bin / Estä: / temp /

Näitä neljää riviä sovelletaan mihin tahansa käyttäjän edustajaan, jonka määritit osion yläosaan.

Jos haluat estää robotteja etsimästä mitään sivustosi sivuja, käytä tätä:

Estä: /

Erilaisten standardien asettaminen robotille

Kuten edellä näimme, voit määrittää tietyt sivut eri robotille. Yhdistämällä kaksi edellistä elementtiä, näytä seuraavalta:

Käyttäjäagentti: googlebot. Estä: / admin / Estä: / yksityinen / Käyttäjäagentti: bingbot. Estä: / admin / Estä: / yksityinen / Estä: / salainen /

Järjestelmänvalvoja ja yksityiset osiot ovat näkymättömiä Googlessa ja Bingissä, mutta Google näkee "salaisen" hakemiston, kun taas Bing ei.

Voit määrittää yleiset säännöt kaikille robotille asterisk-käyttäjäagentilla ja antaa sitten erityiset ohjeet robotille myös seuraavissa osioissa.

Kokoa kaikki yhdessä

Yllä olevan tiedon avulla voit kirjoittaa täydellisen robots.txt-tiedoston. Pysäytä vain suosikki tekstieditori (olemme Sublime-faneja 11 Ylpeät tekstivinkit tuottavuuteen ja nopeampaan työnkulkuunSublime Text on monipuolinen tekstieditori ja kultastandardi monille ohjelmoijille. Vinkkimme keskittyvät tehokkaaseen koodaukseen, mutta yleiset käyttäjät arvostavat pikanäppäimiä. Lue lisää täällä) ja alkaa kertoa robotille, etteivät he ole tervetulleita tietyille sivustosi osille.

Jos haluat nähdä esimerkin robots.txt-tiedostosta, siirry vain mihin tahansa sivustoon ja lisää "/robots.txt" loppuun. Tässä on osa Giant Bicycles robots.txt-tiedostoa:

Kuten huomaat, on olemassa melko vähän sivuja, joita he eivät halua näkyvän hakukoneissa. He ovat sisällyttäneet myös muutamia asioita, joista emme ole vielä puhuneet. Katsotaanpa mitä muuta voit tehdä robottipoistotiedostossasi.

Sivustokarttasi löytäminen

Jos robots.txt-tiedostosi ilmoittaa robotit missä ei mennä, sinun sivustokartta toimii päinvastoin Kuinka luoda XML-sivustokartta 4 helpossa vaiheessaSivustokarttoja on kahta tyyppiä - HTML-sivu tai XML-tiedosto. HTML-sivukartta on yksi sivu, joka näyttää kävijöille kaikki verkkosivun sivut ja sisältää yleensä linkit niihin ... Lue lisää , ja auttaa heitä löytämään etsimänsä. Ja vaikka hakukoneet todennäköisesti tietävät jo sivustokarttasi, ei ole haittaa ilmoittaa heille uudestaan.

Sivustokarttapaikan ilmoitus on yksinkertainen:

Sivustokartta: [sivustokartan URL-osoite]

Se siitä.

Omassa robots.txt-tiedostossamme se näyttää tältä:

Sivustokartta: //www.makeuseof.com/sitemap_index.xml

Siinä kaikki on siinä.

Indeksointiviiveen asettaminen

Indeksointiviivedirektiivi kertoo tietyille hakukoneille, kuinka usein ne voivat indeksoida sivustosi sivun. Se mitataan sekunneissa, vaikka jotkut hakukoneet tulkitsevat sitä hiukan eri tavalla. Jotkut näkevät indeksointiviiveen 5, joka käskee heitä odottamaan viisi sekuntia jokaisen indeksoinnin jälkeen aloittaaksesi seuraavan. Toiset tulkitsevat sitä ohjeena indeksoida vain yksi sivu viiden sekunnin välein.

Miksi sanoit indeksoijalle, ettei se indeksoisi niin paljon kuin mahdollista? jotta säilyttää kaistanleveys 4 tapaa, kuinka Windows 10 tuhlaa Internet-kaistanleveyttäHukkaako Windows 10 Internet-kaistanleveyttä? Näin voit tarkistaa ja mitä voit tehdä pysäyttääksesi sen. Lue lisää . Jos palvelimesi yrittää pysyä liikenteen suhteen, saatat haluta käynnistää indeksointiviiveen. Yleensä useimpien ihmisten ei tarvitse huolehtia tästä. Suuret tiheän liikenteen sivustot voivat kuitenkin haluta kokeilla hiukan.

Voit määrittää indeksointiviiveen kahdeksan sekuntia seuraavasti:

Indeksointiviive: 8

Se siitä. Kaikki hakukoneet eivät noudata direktiiviäsi. Mutta se ei ole haittaa kysyä. Kuten sivujen kieltäminen, voit asettaa erilaisia ​​indeksointiviiveitä tietyille hakukoneille.

Lähetetään robots.txt-tiedosto

Kun kaikki tiedostosi ohjeet on määritetty, voit lähettää ne sivustoosi. Varmista, että se on tekstitiedosto ja sen nimi on robots.txt. Lataa sitten se sivustoosi, jotta se löytyy sivustolta.com/robots.txt.

Jos käytät sisällön hallintajärjestelmä 10 suosituinta sisällönhallintajärjestelmää verkossaKäsikoodattujen HTML-sivujen ja CSS: n hallinnan päivät ovat kauan poissa. Asenna sisällönhallintajärjestelmä (CMS) ja muutamassa minuutissa sinulla on verkkosivusto, jota voit jakaa maailmalle. Lue lisää kuten WordPress, sinulla on todennäköisesti tietty tapa, jolla sinun on kuljettava tähän. Koska se eroaa jokaisessa sisällönhallintajärjestelmässä, sinun on tutkittava järjestelmän dokumentaatio.

Joillakin järjestelmillä voi olla myös online-käyttöliittymiä tiedoston lähettämiseen. Kopioi ja liitä näissä tapauksissa edellisissä vaiheissa luoma tiedosto.

Muista päivittää tiedosto

Viimeinen neuvoja, jotka annan, on tarkistaa joskus robotin poissulkemistiedostosi. Sivustosi muuttuu, ja joudut ehkä tekemään joitain muutoksia. Jos huomaat outoja muutoksia hakukoneiden liikenteessä, kannattaa tarkistaa myös tiedosto. On myös mahdollista, että standardimerkintä voi muuttua tulevaisuudessa. Kuten kaikki muutkin sivustosi sivustot, on syytä tarkistaa ne aina kerrallaan.

Mitkä sivut jätät indeksoijaa sivustoosi? Oletko huomannut eroa hakukoneiden liikenteessä? Jaa neuvojasi ja kommenttejasi alla!