Stiprinkite SEO su robots.txt: išmanesnis robotų valdymas geresniam svetainės darbui
robots.txt yra vienas svarbiausių techninio SEO failų, kai reikia pasakyti robotams, kur jie gali ir kur neturėtų eiti. Tinkamai naudojamas jis padeda tvarkyti indeksavimo prioritetus ir sumažinti nereikalingą apkrovą.
Tačiau klaidos šiame faile gali turėti rimtų pasekmių: nuo netyčia užblokuotų svarbių puslapių iki klaidingo saugumo jausmo. Todėl verta gerai suprasti jo paskirtį ir ribas.
robots.txt failas nurodo robotams, kaip jie turėtų elgtis su tam tikrais keliais svetainėje. Dažniausiai jame naudojamos tokios direktyvos kaip User-agent, Disallow, Allow ir Sitemap.
2 skyrius: praktiniai robots.txt pavyzdžiai
Dažna situacija - noras užblokuoti narių zoną, tam tikrus parametrinius URL ar konkretų robotą. Tokiais atvejais robots.txt gali padėti gana aiškiai apibrėžti, ko robotas neturėtų tikrinti.
Svarbu nepamiršti, kad robots.txt labiau reguliuoja tikrinimą, o ne garantuoja paslėpimą nuo paieškos. Jei reikia užtikrinti neindeksavimą, vien šio failo dažnai neužtenka.
3 skyrius: dažniausios klaidos ir atsargumo priemonės
Viena rimčiausių klaidų - netyčia užblokuoti svarbius puslapius ar katalogus. Taip pat dažnai pasitaiko painiava tarp Allow ir Disallow, neteisingas raidžių dydis keliuose ar per plačiai panaudotos pakaitos simbolių taisyklės.
robots.txt taip pat nėra saugumo priemonė. Jis neapsaugo turinio nuo tyčinių bandymų jį pasiekti ir negali pakeisti prieigos kontrolės.
Dar vienas praktinis niuansas - talpykla. Net pakeitus failą, robotai ne visada perskaito jį iš karto, todėl rezultatų gali tekti palaukti.
4 skyrius: kūrimo ir tikrinimo įrankiai
robots.txt verta kurti ir tikrinti ne aklai, o naudojant testavimo priemones. Google Search Console padeda įvertinti, kaip taisyklės paveikia konkrečius URL, ir leidžia greičiau pastebėti klaidas.
- User-agent: Nurodo, kuriems crawler taikoma taisyklė. Galite pavadinti specifinį crawler arba naudoti * kiekvienam crawler. Deklaruojant kelis User-agent linijas, galite apibrėžti skirtingas taisykles skirtingiems crawlers. Pavyzdžiai:
User-agent: Googlebot,User-agent: Bingbot,User-agent: *. - Disallow: Nurodo kelią, kuris neturi būti crawled. Jis yra parašytas kaip santykinis kelias pradedant su striuką. Tuščia Disallow linija reiškia, viskas yra leidžiama. Pavyzdžiai:
Disallow: /private/,Disallow:. - Allow: Nurodo kelią, kuris gali būti crawled. Jis naudojamas, kai norite leisti dalį vietos, kuri buvo blokuota su Disallow. Allow taisyklė turi pirmenybę už Disallow tuo atveju. Pavyzdys:
Disallow: /private/irAllow: /private/public.html.
5 skyrius: robotų valdymas už robots.txt ribų
Žvaigždė atitinka bet kokį simbolių stringą. Pavyzdžiui, Disallow: /*.pdf blokuoja kiekvieną PDF failą, ir Disallow: /images/*.jpg$ blokuoja tik JPG failus pagal /images/ katalogą.
Dolerio ženklas atitinka linijos pabaigoje. Pavyzdžiui, Disallow: /blog/$ blokuoja prieigą prie pačios /blog/ katalogo, nors vis dar leidžia adresus, pavyzdžiui, /blog/article1/.
Santrauka
robots.txt yra galingas techninio SEO įrankis, bet tik tada, kai aiškiai suprantate, ką jis daro ir ko nedaro. Jis padeda valdyti robotų dėmesį, tačiau tikslus indeksavimo valdymas dažnai reikalauja ir kitų priemonių.
Kadangi „Google“ pagerino savo automatinį skrydžio greičio koregavimą, ir atsižvelgdama į platesnius pastangas supaprastinti vartotojo patirtį, „Google“ nutraukparamą skrydžio greičio ribojimo įrankiui „Search Console“.
Planuojamas baigtis palaikymo crawl-rate limiter įrankis Search Console
Jis vis dar gali turėti poveikį kitiems crawlers.
Nustatant Sitemap: vadovauti naršyklės ir tvarkyti kelis svetainės žemėlapius
Jūs galite nurodyti svetainės žemėlapį URLs su Sitemap direktyva. Tai padeda naršytojams suprasti svetainės struktūrą lengviau ir pagerina naršymo efektyvumą. Taip pat galite nurodyti keletą svetainės žemėlapių. Pavyzdžiai: Sitemap: https://example.com/sitemap.xml ir Sitemap: https://example.com/sitemap_images.xml.
★ Supercharge SEO: Sukurti Google-draugišką svetainės struktūrą su sitemap.xml
2 skyrius: Praktiniai robots.txt pavyzdžiai
Privalomų prisijungimo puslapių apsauga: Disallow: /member/
Turinys, kuris reikalauja prisijungti, pavyzdžiui, tik nariai puslapiai, paprastai turėtų būti išbrauktas iš paieškos variklių indeksavimo.
Naudojant robots.txt, galite užkirsti kelią crawlers nuo prieigos prie šių puslapių ir sumažinti švaistymą crawling. Pavyzdžiui, jei tik nariai turinys yra saugomas pagal /member/, rašyti Disallow: /member/ blokuoja prieigą prie kiekvieno failo ir subadreso pagal tą vietą.
Tačiau robots.txt yra tik prašymas crawlers, todėl kenksmingi crawlers gali ignoruoti jį.
Tikrai jautri informacija turi būti apsaugota serverio pusės autentiškumo, o ne robots.txt. Robots.txt turėtų būti traktuojamas kaip palaikymo metodas apriboti crawler prieigą ir išsaugoti serverio išteklius. Daugeliu atvejų, tai yra tinkama leisti prieigą prie prisijungimo puslapį pats, kad crawlers gali suprasti, kad autentiškumas yra reikalingas.
Valdymo parametrizuotas URLs: Disallow: /*?page=*
Parametraizuotas URLs kartais gali padaryti tą patį turinį prieinama pagal kelis URLs, kuris gali būti vertinamas kaip dubliuotas turinys. Pavyzdžiui, jei naudojate ?puslapis= parametras puslapių, jūs galite baigti su puslapių, pavyzdžiui, example.comZZ/blog?page=1 ir example.com/blog?page=2, kurie turi skirtingą URLs bet beveik tą patį turinį.
raštu Disallow: /*?page=*, galite blokuoti prieigą prie kiekvieno URL, kuris apima page= parametrą. Tačiau, tai gali pašalinti visą puslapių turinį iš paieškos sistemų ir gali pakenkti SEO.
Geresnis požiūris yra naudoti kanonišką žymę ir nurodyti kanonišką URL. Jei kiekviena puslapiai atkreipia dėmesį į pirmą puslapį, pavyzdžiui, example.comZZ/blog, su kanoniniu žyme, galite išvengti dubliavimo turinio problemų ir perduoti teisingą puslapį paieškos sistemoms.
Naudojimas robots.txt kontroliuoti puslapių turėtų būti vertinamas kaip paskutinis sprendimas, kai negalima įgyvendinti kanoninių žymių.
Valdyti specifinį crawler: User-agent: YandexBot Disallow: /
Su User-agent direktyva, galite nustatyti skirtingas taisykles skirtingiems crawlers. Jei jūs rašyti User-agent: YandexBot ir tada Disallow: /, tik YandexBot bus blokuojamas iš viso svetainės. Kiti naršyklės bus laikytis taisyklių, nustatytų pagal kitus User-agent skyrius, arba taisyklių pagal User-agent: *.
Tipiniai atvejai, kai jums gali būti norima kontroliuoti konkrečią crawler apima šiuos atvejus.
- Kai specifinis crawler yra pastatyti pernelyg daug įkrovos serveryje
- Kai specifinis crawler ignoruoja robots.txt ir sukelia problemų
- Kai norite paslėpti regionų konkrečią turinį iš paieškos sistemų, kurios nėra naudojamos tame regione
Tokiais ir panašiais atvejais, User-agent direktyva yra naudinga. Didžiųjų paieškos programų naršyklės vardai gali būti patvirtinti kiekvieno paieškos programų oficialios dokumentacijos.
Kapitola 3: Atsargumo ir bendrų klaidų robots.txt
Robots.txt yra galingas įrankis, bet klaidingi nustatymai gali turėti rimtų pasekmių svetainei. Šiame skyriuje paaiškinama bendra klaidų ir atsargumo taškai, kad jūs galite naudoti robots.txt saugiai ir veiksmingai.
3.1 SEO žala dėl robots.txt klaidų: patekimas iš paieškos
Didžiausia klaida robots.txt yra atsitiktinai blokuoti svarbių puslapių nuo naršymo.
Jei neleidžiate produktų ar paslaugų puslapių, pvz., šie puslapiai gali išnykti iš paieškos indekso ir išnykti iš paieškos rezultatų. Tai tiesiogiai sumažina svetainės srautą ir gali smarkiai pakenkti SEO.
Kai keičiate robots.txt, visada naudokite robots.txt bandymų įrankį Google Search Console patvirtinti, kad tik numatyti puslapiai yra blokuojami. Po pakeitimo, toliau stebėti reitingus ir eismo reguliariai, kad galėtumėte sugauti bet kokius nenumatytus padarinius.
3.2 klaida naudojant Allow puslapius, kuriuos ketinote užblokuoti
Allow direktyva turėtų būti naudojama tik tada, kai norite leisti dalį vietos, kuri buvo užblokuota su Disallow. Pavyzdžiui, jei norite užblokuoti /private/, bet leisti tik /private/public.html, jūs naudojate abu Disallow: /private/ ir Allow: /private/public.html.
Naudojimas Allow vien už sritį, kuri nebuvo atmesta neturi jokio poveikio. Crawlers paprastai mano, kad kiekvienas puslapis yra prieinamas, nebent jis buvo aiškiai blokuojamas su Disallow.
3.3 Dalyko jautrumas: atidžiai dėmesio
User-agent, Disallow, Allow, ir URL keliai yra visi atveju jautrūs. Pavyzdžiui, neleisti: /images/ yra vertinamas kitaip nei Disallow: /images/ ir neveiks taip, kaip numatyta.
raštu robots.txt, visada naudoti teisingą kapitalizacijos ir atidžiai patikrinti formos klaidų.
3.4 Skirtumai crawler elgesio: elgtis su kenksmingais crawlers
Robots.txt veikia su gero tikėjimo crawlers, pavyzdžiui, Googlebot ir Bingbot, bet kenksmingi crawlers gali ignoruoti jį visiškai. Tai reiškia, robots.txt vien negali apsaugoti jautrios informacijos.
Informacija, kuri yra tikrai konfidenciali, turi būti apsaugota serverio pusės autentiškumo arba prieigos apribojimai. Jums reikia suprasti, kad robots.txt yra tik priemonkontroliuoti bendradarbiaujančių naršyklių ir nėra pakankamas kaip saugumo priemonė.
3.5 Robots.txt vienas negali užtikrinti saugumo
Kaip minėta pirmiau, robots.txt yra nepakankamas kaip saugumo priemonė. Kiekvienas gali skaityti robots.txt failo turinį, todėl kenksmingi vartotojai gali naudoti jį kaip įrodymą rasti ribotas sritis.
Tikrasis saugumas reikalauja layered požiūris, kuris sujungia kelis metodus, įskaitant slaptažodžio apsaugos, prieigos kontrolės sąrašus, ir ugniasienės, o ne robots.txt vien.
3.6 Netikimas elgesys dėl pernelyg didelio laukinių kortelių naudojimo
Wildcards, pavyzdžiui, * ir $ padaryti kelią atitikties lankstesnis, bet pernaudojimas juos gali blokuoti puslapius jūs niekada norėjo blokuoti. Pavyzdžiui, Disallow: /*image* blokuotų ne tik /images/ katalogą, bet ir URL, pavyzdžiui, /article/my-image.jpg.
Naudodami laukinių kortų, patikrinkite visą jų poveikio apimtį kruopščiai ir įsitikinkite, kad jūs neblokuojate puslapių nepagrįstai.
3.7 robots.txt užraktas: vėlavimas prieš pasikeitimus atspindi
paieškos sistemų cache robots.txt, todėl pakeitimai ne visada atsispindi nedelsiant. Net jei patikrinti su bandymų įrankiu tiesiai po jo redaguoti, rezultatas vis dar gali būti grindžiamas ankstesne versija.
Google Search Console, galite prašyti, kad robots.txt būtų vėl perkeliamas per robots.txt testeris. Tai gali sutrumpinti vėlavimą prieš kasos atnaujinimai ir jūsų pakeitimai yra atspindėti.
Atsižvelgiant į šiuos įspėjimus ir tinkamai konfigūruojant robots.txt, galite pagerinti SEO ir išvengti nereikalingų rizikų.
4 skyrius: robots.txt kūrimo įrankiai ir tikrinimo metodai
Šiame skyriuje paaiškinama, kaip sukurti, patikrinti ir peržiūrėti robots.txt veiksmingai. Remdamiesi šiais veiksmais, galite užkirsti kelią nenumatytoms klaidoms ir padidinti svetainės našumą.
4.1 Naudojant robots.txt kūrimo priemones
Jūs galite rašyti robots.txt rankiniu būdu, bet internete įrankiai leidžia jums tai padaryti greičiau ir su mažiau klaidų. Šie įrankiai generuoti robots.txt failą automatiškai, kai jūs įvesti reikiamas direktyvas, kuri padeda sumažinti sintakzinių klaidų ir taisyklių klaidų.
Atstovavimo priemonės apima šiuos elementus.
- Google Search Console robots.txt testeris: Integruotas Search Console įrankis, kuris gali sukurti, redaguoti, ir išbandyti robots.txt. Jei jūs jau naudoti Search Console, tai dažnai yra lengviausias pasirinkimas.
- SEO kontrolės įrankiai: Kai kurie SEO įrankiai apima robots.txt generavimo funkcijas. Kadangi jie gali būti naudojami kartu su kitomis SEO funkcijos, jie yra patogus optimizuojant svetainę plačiau.
- Kiti online robots.txt generatoriai: Jei ieškote internete robots.txt generatorius, rasite daug nemokamų įrankių. Jie tinka sukurti paprastą robots.txt failą.
Kuris įrankis yra geriausias priklauso nuo jūsų poreikių ir svetainės dydžio.
4.2 Testavimas robots.txt Google Search Console
Kai jūs sukūrėte robots.txt, jūs turite patikrinti, kad crawlers interpretuoti jį teisingai. Google Search Console suteikia robots.txt bandymų įrankis, kuris gali parodyti, ar konkretus URL yra crawlable ir ar yra klaidų faile.
Bandymų procesas yra toks.
- Atverti Google Search Console ir pasirinkti objektą tikslinei svetainei.
- Iš kairės pusės pasirinkite robots.txt testerį.
- Įveskite URL norite išbandyti ir spustelėkite Bandymas mygtuką.
- Apžvelgti, ar URL yra crawlable ir kuri direktyva yra taikoma.
Kiekvieną kartą, kai keičiate robots.txt, naudokite šį įrankį ir patvirtinkite, kad failas veikia tiksliai kaip numatyta.
4.3 Apžvalga ir remontas robots.txt
Kadangi robots.txt yra įtrauktas į interneto svetainės šaknų katalogą, galite atidaryti jį tiesiogiai naršyklėje, peržiūrėti jo turinį, ir persvarstyti jį, jei reikia. Pavyzdžiui, prieiga prie https://example.com/robots.txt rodo failą.
Kai darote pataisas, atidaryti robots.txt tekstų redaktorius, padaryti būtinus pakeitimus, ir įkelti jį į serverį. Kadangi paieškos sistemos turi atnaujinti savo cache, tai gali užtrukti šiek tiek laiko, kol pakeitimai yra atspindėti.
robots.txt testeris Google Search Console leidžia jums redaguoti ir išbandyti tuo pačiu metu, todėl lengviau kartoti korekcijas ir tikrinimą.
Taikant šiuos žingsnius, galite išlaikyti optimalią robots.txt būklę ir pagerinti tiek SEO ir svetainės našumą.
5 skyrius: Krawler kontrolės už robots.txt
Skirtumai nuo meta robotų etiketės ir kaip naudoti kiekvieną
Meta robotų žymė yra naudojama kontroliuoti naršyklių atskiroje puslapyje pagrindu. Kai naudojamas kartu su robots.txt, jis leidžia geresnį kontrolę. Noindex nurodyti paieškos variklius ne indeksuoti puslapį, ir nofollow nurodyti jiems ne sekti nuorodos. Jei pridėti noindex į puslapį, kuris taip pat buvo blokuojamas nuo naršymo su robots.txt, ji gali padėti pašalinti jau indeksuotas puslapis iš paieškos rezultatų kai kuriais atvejais.
Naudojant jį kartu su noindex ir nofollow
Jūs galite nurodyti kelias direktyvas atskirtas nuo rodyklių, pavyzdžiui, noindex,follow.
Kontrolė per X-Robots-Tag HTTP antraštę
Naudojant X-Robots-Tag į HTTP atsakymo antraštę, galite kontroliuoti naršyti ne HTML failus, pavyzdžiui, PDFs ir vaizdus, taip pat. Tai reikalauja serverio pusės konfigūracija.
Apžvalga
Robots.txt yra būtinas įrankis tiek SEO ir svetainės veiklos.
Kai jūs suprantate šiame straipsnyje aptariamus punktus ir tinkamai konfigūruojate robots.txt, galite ištraukti visą savo svetainės potencialą. Svarbu likti aktualus ir toliau optimizuoti robots.txt per laiką.
Priedas: robots.txt pavyzdžiai, įskaitant pažangius
- Allow tik tam tikri failų tipai tam tikram crawler:
User-agent: Googlebot-Image Allow: /images/*.jpg Allow: /images/*.png Disallow: / User-agent: * Disallow: /images/
- Palėtinti prieigą prie konkrečio crawler:
User-agent: AhrefsBot Crawl-delay: 10 User-agent: * Allow: /
Naudokite šiuos pažangius modelius optimizuoti savo svetainę ir judėti link sėkmės.