Kas yra „Robots.txt“ failas domene?

Viena didžiausių naujų svetainių savininkų klaidų yra nežvalgyti į savo robots.txt failą. Taigi, kas tai vis tiek, ir kodėl tokia svarbi? Mes turime jūsų atsakymus.

Jei jums priklauso svetainė ir jums rūpi jūsų svetainėSEO sveikata, turėtumėte labai gerai susipažinti su domeno robots.txt failu. Patikėkite ar ne, tai yra nerimą keliantis skaičius žmonių, kurie greitai paleidžia domeną, įdiegia greitą „WordPress“ svetainę ir niekada nesivargina nieko daryti su savo robots.txt failu.

Tai pavojinga. Prastai sukonfigūruotas failas robots.txt iš tikrųjų gali sunaikinti jūsų svetainės SEO būklę ir sugadinti visas jūsų galimybes padidinti srautą.

Kas yra „Robots.txt“ failas?

Į Robots.txt failas yra tinkamai pavadintas, nes jis iš esmės yra afailą, kuriame pateikiamos žiniatinklio robotų (pvz., paieškos variklių robotų) direktyvos, kaip ir ką jie gali nuskaityti jūsų svetainėje. Tai yra žiniatinklio standartas, kurį seka svetainės nuo 1994 m., Ir visi pagrindiniai interneto tikrinimo programos laikosi šio standarto.

Failas saugomas teksto formatu (su.txt plėtinys), esančiame jūsų svetainės šakniniame aplanke. Tiesą sakant, galite peržiūrėti bet kurios svetainės robot.txt failą tiesiog įvesdami domeną, po kurio eina /robots.txt. Jei išbandysite tai naudodami „groovyPost“, pamatysite gerai struktūruoto roboto.txt failo pavyzdį.

Failas yra paprastas, bet efektyvus. Šis failo pavyzdys neskiria robotų. Komandos visiems robotams išduodamos naudojant Vartotojo atstovas: * direktyva. Tai reiškia, kad visos komandos, vykdančios ją, taikomos visiems robotams, kurie lankosi svetainėje, norėdami ją aptikti.

Nurodykite interneto tikrinimo įrenginius

Taip pat galite nurodyti konkrečias taisykleskonkretūs interneto tikrinimo įrenginiai. Pvz., Galite leisti „Googlebot“ („Google“ interneto tikrinimo programa) tikrinti visus jūsų svetainės straipsnius, bet galbūt norėtumėte neleisti rusų žiniatinklio skaitymo programai „Yandex Bot“ tikrinti jūsų svetainės straipsnius, kuriuose yra niekinanti informacija apie Rusiją.

Yra šimtai žiniatinklio tikrinimo programų, kurios internete ieško informacijos apie svetaines, tačiau čia išvardytos 10 dažniausiai pasitaikančių dalykų, kurie jums turėtų rūpėti.

• „Googlebot“: „Google“ paieškos variklis
• Bingbotas: „Microsoft“ „Bing“ paieškos variklis
• Pliurpti: „Yahoo“ paieškos variklis
• „DuckDuckBot“: Paieškos sistema „DuckDuckGo“
• Baiduspideris: Kinijos „Baidu“ paieškos variklis
• „YandexBot“: Rusijos „Yandex“ paieškos variklis
• „Exabot“: Prancūzijos „Exalead“ paieškos variklis
• „Facebot“: „Facebook“ tikrinimo robotas
• ia_archiver: „Alexa“ žiniatinklio reitingavimo priemonė
• MJ12bot: Didelė nuorodų indeksavimo duomenų bazė

Jei norite, paimkite aukščiau pateiktą scenarijųkad „Googlebot“ galėtų indeksuoti viską jūsų svetainėje, bet norėjo užkirsti kelią „Yandex“ indeksuoti jūsų rusiško straipsnio turinį, prie robots.txt failo pridėtumėte šias eilutes:


User-agent: googlebot
Disallow: Disallow: /wp-admin/
Disallow: /wp-login.php

User-agent: yandexbot
Disallow: Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /russia/

Kaip matote, tik pirmoji dalis blokuojama„Google“ neieško jūsų „WordPress“ prisijungimo ir administracinių puslapių. Antrame skyriuje blokuojama ne tik „Yandex“, bet ir visa jūsų svetainės sritis, kurioje jūs paskelbėte straipsnius su antirusiška turiniu.

Tai yra paprastas pavyzdys, kaip galite naudoti Neleisti komanda, skirta valdyti konkrečius interneto tikrinimo įrenginius, kurie lankosi jūsų svetainėje.

Kitos „Robots.txt“ komandos

Neleisti yra ne vienintelė komanda, kurią turite prieigą prie savo robots.txt failo. Taip pat galite naudoti bet kurias kitas komandas, kurios nurodys, kaip robotas gali nuskaityti jūsų svetainę.

• Neleisti: Nurodo vartotojo agentui vengti nuskaityti konkrečius URL arba visas jūsų svetainės skiltis.
• Leisti: Leidžia patikslinti tam tikrus savo svetainės puslapius ar poaplankius, net jei galbūt neleidote pagrindinio aplanko. Pvz., Galite neleisti: / apie /, bet tada leisti: / apie / ryan /.
• Nuskaitymo delsimas: Tai nurodo tikrinimo įrenginiui palaukti xx sekundžių skaičių prieš pradedant tikrinti svetainės turinį.
• Svetainės schema: Nurodykite paieškos variklius („Google“, „Ask“, „Bing“ ir „Yahoo“) savo XML svetainių schemų vietą.

Atminkite, kad robotai tai padarys tik klausykite komandų, kurias pateikėte, kai nurodote roboto pavadinimą.

Dažna klaida, kurią žmonės daro, yra neleisti tokių svetainių, kaip / wp-admin /, iš visų robotų, bet tada nurodykite „googlebot“ skyrių ir tik kitų sričių (pvz., Apie / apie) neleidimą.

Kadangi robotai vykdo tik komandas, kurias nurodote jų skyriuje, turite pakartoti visas tas kitas komandas, kurias nurodėte visiems robotams (naudodamiesi * vartotojo agentu).

• Neleisti: Komanda, naudojama vartotojo agentui nurodyti netirti konkretaus URL. Kiekvienam URL leidžiama tik viena eilutė „Neleisti:“.
• Leisti (taikoma tik „Googlebot“): Komanda „Googlebot“ pasakyti, kad ji gali pasiekti puslapį ar poaplanką, net jei jo pagrindiniame puslapyje ar poaplanke gali būti neleidžiama.
• Nuskaitymo delsimas: Kiek sekundžių tikrinimo įrenginys turėtų palaukti prieš įkeldamas ir nuskaitydamas puslapio turinį. Atminkite, kad „Googlebot“ šios komandos nepripažįsta, tačiau tikrinimo greitį galima nustatyti „Google Search Console“.
• Svetainės schema: Naudojamas XML svetainės žemėlapio (-ių), susieto su šiuo URL, nustatyti. Atminkite, kad šią komandą palaiko tik „Google“, „Ask“, „Bing“ ir „Yahoo“.

Atminkite, kad robots.txt yra skirtas padėti teisėtiems robotams (pvz., Paieškos variklių robotams) efektyviau tikrinti jūsų svetainę.

Ten yra daugybė nemandagių skaitytuvųkurie nuskaito jūsų svetainę tam, kad atliktų tokius veiksmus, kaip, pavyzdžiui, įbrėžti el. pašto adresus ar pavogti jūsų turinį. Jei norite pabandyti naudoti failą robots.txt, norėdami užkirsti kelią šiems robotams nuskaityti bet ką jūsų svetainėje, nesijaudinkite. Šių tikrinimo programų kūrėjai paprastai nepaiso nieko, ką įdėjote į savo robots.txt failą.

Kodėl nieko neleisti?

Daugelio svetainių savininkams rūpi, kaip „Google“ paieškos varikliui aptikti kuo daugiau kokybiško turinio jūsų svetainėje.

Tačiau „Google“ išleidžia tik nedaug nuskaitymo biudžetas ir nuskaitymo greitis atskirose svetainėse. Tikrinimo greitis yra tai, kiek užklausų per sekundę „Googlebot“ pateiks jūsų svetainei tikrinimo įvykio metu.

Kur kas svarbiau yra nuskaitymo biudžetasdaugybė visų užklausų, kurias „Googlebot“ pateiks aptikti jūsų svetainę per vieną seansą. „Google“ išleidžia savo tikrinimo biudžetą sutelkdama dėmesį į jūsų svetainės sritis, kurios yra labai populiarios arba neseniai pasikeitė.

Jūs nematote šios informacijos. Jei lankotės „Google“ žiniatinklio valdytojo įrankiuose, galite pamatyti, kaip tikrinimo įrenginys tvarko jūsų svetainę.

Kaip matote, tikrinimo programa kasdien nuolatos vykdo veiklą jūsų svetainėje. Jis apžiūri ne visas svetaines, o tik tas, kurias laiko svarbiausiomis.

Kodėl „Googlebot“ gali nuspręsti, kas yrasvarbu jūsų svetainėje, kai galite naudoti failą robots.txt, kad papasakotumėte, kokie yra svarbiausi puslapiai? Tai neleis „Googlebot“ eikvoti laiko mažos vertės puslapiuose jūsų svetainėje.

Tikrinimo biudžeto optimizavimas

„Google“ žiniatinklio valdytojo įrankiai taip pat leidžia patikrinti, ar „Googlebot“ gerai skaito robots.txt failą ir ar nėra klaidų.

Tai padeda patikrinti, ar tinkamai robots.txt failą susisteminote.

Kokius puslapius turėtumėte atsisakyti „Googlebot“? Gerai, kad jūsų svetainės SEO neleidžia šių kategorijų puslapių.

• Puslapių kopijos (pvz., Tinkami spausdinti puslapiai)
• Dėkojame puslapiams, vykdantiems pagal formas pagrįstus užsakymus
• Užsakymo ar informacijos užklausų formos
• Kontaktiniai puslapiai
• Prisijungimo puslapiai
• Pagrindiniai „pardavimo“ puslapiai

Neignoruokite savo „Robots.txt“ failo

Didžiausia naujų svetainių savininkų klaida yraniekada net nežiūrėdamas į jų robots.txt failą. Blogiausia padėtis gali būti ta, kad failas robots.txt iš tikrųjų užkerta kelią jūsų svetainei ar jos vietoms tikrinti.

Nepamirškite peržiūrėti robots.txt failo ir įsitikinkite, kad jis optimizuotas. Tokiu būdu „Google“ ir kiti svarbūs paieškos varikliai „mato“ visus pasakiškus dalykus, kuriuos siūlote pasauliui savo svetainėje.