Styrktu SEO með robots.txt: bættu frammistöðu vefs með skynsamlegri stjórn skriðla
Stjórn skriðla gegnir mikilvægu hlutverki bæði fyrir SEO og frammistöðu vefs. Skriðlar leitarvéla fara um vef og safna upplýsingum svo þeir geti sótt gögnin sem þarf til að birta síður í leitarniðurstöðum. Með því að stjórna hegðun skriðla á viðeigandi hátt geturðu bætt SEO-árangur og frammistöðu vefsins.
Miðlæga tólið fyrir þetta er robots.txt. Þessi grein útskýrir robots.txt ítarlega, frá grunnatriðum til hagnýtrar notkunar, varúðaratriða og lengra kominna aðferða, svo þú getir raunverulega náð tökum á því.
Kafli 1: Grunnatriði robots.txt
Hvað er robots.txt? Hvernig stjórn skriðla virkar
Robots.txt er textaskrá sem er sett í rótarmöppu vefs. Hún segir skriðlum hvaða hluta vefsins þeir mega skríða og hvaða hluta þeir ættu ekki að skríða.
Þegar skriðill opnar vef les hann yfirleitt robots.txt fyrst og skríður síðan vefinn samkvæmt þeim fyrirmælum. Robots.txt er beiðni til skriðla, ekki þvinguð lokun, en helstu leitarvélar virða hana. Þar sem skaðlegir skriðlar og sumir aðrir botar geta þó hunsað robots.txt ættirðu aldrei að treysta eingöngu á hana til að vernda trúnaðarupplýsingar.
Hvar á að setja robots.txt, skráarsnið og stafasett
Robots.txt verður að vera í rótarmöppu vefsins, til dæmis https://example.com/robots.txt.
Hún virkar ekki ef þú setur hana í undirmöppu. Skráarheitið þarf einnig að vera með lágstöfum: robots.txt.
Skráarsniðið verður að vera hreinn texti og sterklega er mælt með UTF-8 kóðun. Ef þú notar aðra kóðun geta skriðlar átt í erfiðleikum með að túlka skrána rétt.
Grunnsetningafræði: User-agent, Disallow, Allow og nánari reglur
Robots.txt er skrifuð með fyrirmælum eins og User-agent, Disallow og Allow. Þessi fyrirmæli gera greinarmun á hástöfum og lágstöfum og eru skrifuð eitt í hverri línu.
- User-agent: Tilgreinir hvaða skriðli regla á við um. Þú getur nefnt tiltekinn skriðil eða notað * fyrir alla skriðla. Með því að lýsa yfir mörgum User-agent línum geturðu skilgreint mismunandi reglur fyrir mismunandi skriðla. Dæmi:
User-agent: Googlebot,User-agent: Bingbot,User-agent: *. - Disallow: Tilgreinir slóð sem má ekki skríða. Hún er skrifuð sem afstæð slóð sem byrjar á skástriki. Tóm Disallow lína þýðir að allt er leyfilegt. Dæmi:
Disallow: /private/,Disallow:. - Allow: Tilgreinir slóð sem má skríða. Þetta er notað þegar þú vilt leyfa hluta af staðsetningu sem hefur verið lokuð með Disallow. Í því tilviki hefur Allow regla forgang yfir Disallow. Dæmi:
Disallow: /private/ogAllow: /private/public.html.
Hvernig á að nota jokertákn (*) og ($): sveigjanleg samsvörun slóða og lengra komin notkun
Stjarnan samsvarar hvaða stafarunu sem er. Til dæmis Disallow: /*.pdf lokar á allar PDF-skrár og Disallow: /images/*.jpg$ lokar aðeins á JPG-skrár í /images/ möppunni.
Dollaramerkið samsvarar enda línu. Til dæmis Disallow: /blog/$ lokar á aðgang að /blog/ möppunni sjálfri en leyfir samt vistföng eins og /blog/article1/.
Stilling Crawl-delay: minnkun álags á netþjón og áhrif á Googlebot
Með Crawl-delay fyrirmælinu geturðu tilgreint bil milli beiðna skriðla í sekúndum. Þetta getur hjálpað þegar álag á netþjón er hátt, en Googlebot styður Crawl-delay ekki opinberlega. Google mælti áður með stillingum fyrir skriðtíðni í Search Console, en sér nú um þetta sjálfvirkt, svo yfirleitt þarf ekki að hafa miklar áhyggjur af því.
Þar sem Google hefur bætt sjálfvirka aðlögun skriðtíðni og í samræmi við víðtækari viðleitni til að einfalda notendaupplifun hættir Google stuðningi við crawl rate limiter tólið í Search Console.
Áætluð lok stuðnings við crawl rate limiter tólið í Search Console
Það getur samt haft áhrif á aðra skriðla.
Tilgreining Sitemap: leiðbeindu skriðlum og meðhöndlaðu mörg sitemap
Þú getur tilgreint sitemap URL með Sitemap fyrirmælinu. Þetta hjálpar skriðlum að skilja uppbyggingu vefsins auðveldara og bætir skilvirkni skriðs. Þú getur einnig tilgreint mörg sitemap. Dæmi: Sitemap: https://example.com/sitemap.xml og Sitemap: https://example.com/sitemap_images.xml.
★ Styrktu SEO: byggðu upp vefskipulag sem Google á auðvelt með að skilja með sitemap.xml
Kafli 2: Hagnýt robots.txt dæmi
Verndun síðna sem krefjast innskráningar: Disallow: /member/
Efni sem krefst innskráningar, til dæmis síður aðeins fyrir meðlimi, ætti almennt að útiloka frá vísitölusetningu leitarvéla.
Með robots.txt geturðu komið í veg fyrir að skriðlar opni þessar síður og minnkað sóað skrið. Til dæmis, ef efni aðeins fyrir meðlimi er geymt undir /member/, lokar Disallow: /member/ á aðgang að öllum skrám og undirmöppum undir þeirri staðsetningu.
Robots.txt er þó aðeins beiðni til skriðla, svo skaðlegir skriðlar geta hunsað hana.
Raunverulega viðkvæmar upplýsingar verður að vernda með auðkenningu á netþjóni, ekki með robots.txt. Robots.txt ætti að líta á sem stuðningsaðferð til að takmarka aðgang skriðla og spara netþjónaauðlindir. Í mörgum tilvikum er viðeigandi að leyfa aðgang að sjálfri innskráningarsíðunni svo skriðlar skilji að auðkenning sé nauðsynleg.
Stjórn URL með breytum: Disallow: /*?page=*
URL með breytum geta stundum gert sama efni aðgengilegt undir mörgum URL-um, sem getur verið túlkað sem tvítekið efni. Til dæmis, ef þú notar ?page= breytu fyrir síðuskiptingu, gætirðu endað með síður eins og example.com/blog?page=1 og example.com/blog?page=2 sem hafa mismunandi URL en næstum sama efni.
Með því að skrifa Disallow: /*?page=* geturðu lokað á aðgang að öllum URL-um sem innihalda page= breytuna. Þetta getur þó fjarlægt allt síðuskipt efni úr leitarvélum og skaðað SEO.
Betri nálgun er að nota canonical tag og tilgreina canonical URL. Ef hver síðuskipt síða vísar á fyrstu síðuna, til dæmis example.com/blog, með canonical tagi geturðu forðast vandamál með tvítekið efni og miðlað réttri síðu til leitarvéla.
Að nota robots.txt til að stjórna síðuskiptingu ætti að vera síðasta úrræði þegar ekki er hægt að innleiða canonical tag.
Stjórn tiltekins skriðils: User-agent: YandexBot Disallow: /
Með User-agent fyrirmælinu geturðu sett mismunandi reglur fyrir mismunandi skriðla. Ef þú skrifar User-agent: YandexBot og síðan Disallow: / verður aðeins YandexBot lokað úti frá öllum vefnum. Aðrir skriðlar fylgja reglum sem eru settar undir öðrum User-agent hlutum, eða reglum undir User-agent: *.
Dæmigerð tilvik þar sem þú gætir viljað stjórna tilteknum skriðli eru eftirfarandi.
- Þegar tiltekinn skriðill veldur óhóflegu álagi á netþjóninn
- Þegar tiltekinn skriðill hunsar robots.txt og veldur vandamálum
- Þegar þú vilt fela svæðisbundið efni fyrir skriðlum leitarvéla sem eru ekki notaðar á því svæði
Í þessum og svipuðum tilvikum er User-agent fyrirmælið gagnlegt. Nöfn helstu skriðla leitarvéla má staðfesta í opinberum skjölum hverrar leitarvélar.
Kafli 3: Varúðaratriði og algeng mistök í robots.txt
Robots.txt er öflugt tól, en rangar stillingar geta haft alvarlegar afleiðingar fyrir vef. Þessi kafli útskýrir algeng mistök og varúðaratriði svo þú getir notað robots.txt örugglega og skilvirkt.
3.1 SEO-skaði vegna mistaka í robots.txt: hverfa úr leit
Alvarlegustu mistökin í robots.txt eru að loka óvart á skrið mikilvægra síðna.
Ef þú lokar til dæmis á vörusíður eða þjónustusíður geta þær dottið úr leitarvísitölunni og horfið úr leitarniðurstöðum. Það dregur beint úr umferð á vefnum og getur skaðað SEO verulega.
Alltaf þegar þú breytir robots.txt skaltu nota robots.txt prófunartólið í Google Search Console til að staðfesta að aðeins fyrirhugaðar síður séu lokaðar. Eftir breytinguna skaltu halda áfram að fylgjast reglulega með röðun og umferð svo þú getir greint ófyrirséð áhrif.
3.2 Mistökin að nota Allow fyrir síður sem þú ætlaðir að loka
Allow fyrirmælið ætti aðeins að nota þegar þú vilt leyfa hluta af staðsetningu sem hefur verið lokuð með Disallow. Til dæmis, ef þú vilt loka /private/ en leyfa aðeins /private/public.html, notarðu bæði Disallow: /private/ og Allow: /private/public.html.
Að nota Allow eitt og sér fyrir svæði sem ekki hefur verið lokað með Disallow hefur engin áhrif. Skriðlar gera almennt ráð fyrir að allar síður séu aðgengilegar nema þeim hafi verið lokað skýrt með Disallow.
3.3 Hástafir og lágstafir: fylgstu vel með
User-agent, Disallow, Allow og URL-slóðir gera allar greinarmun á hástöfum og lágstöfum. Til dæmis er disallow: /images/ meðhöndlað öðruvísi en Disallow: /images/ og virkar ekki eins og ætlað var.
Þegar þú skrifar robots.txt skaltu alltaf nota rétta há- og lágstafi og athuga vandlega hvort innsláttarvillur séu til staðar.
3.4 Mismunandi hegðun skriðla: hvernig á að takast á við skaðlega skriðla
Robots.txt virkar með skriðlum í góðri trú, eins og Googlebot og Bingbot, en skaðlegir skriðlar geta hunsað hana alveg. Það þýðir að robots.txt eitt og sér getur ekki verndað viðkvæmar upplýsingar.
Upplýsingar sem eru raunverulega trúnaðarmál verða að vera verndaðar með auðkenningu eða aðgangstakmörkunum á netþjóni. Þú þarft að skilja að robots.txt er aðeins tól til að stjórna samstarfsfúsum skriðlum og dugar ekki sem öryggisráðstöfun.
3.5 robots.txt eitt og sér veitir ekki öryggi
Eins og fram kom hér að ofan dugar robots.txt ekki sem öryggisráðstöfun. Hver sem er getur lesið innihald robots.txt skráar, svo skaðlegir notendur geta notað hana sem vísbendingu til að finna lokuð svæði.
Raunverulegt öryggi krefst lagskiptrar nálgunar sem sameinar margar aðferðir, þar á meðal lykilorðavernd, aðgangsstýringarlista og eldveggi, ekki robots.txt eitt og sér.
3.6 Óvænt hegðun þegar jokertákn eru ofnotuð
Jokertákn eins og * og $ gera samsvörun slóða sveigjanlegri, en ofnotkun þeirra getur lokað síðum sem þú ætlaðir aldrei að loka. Til dæmis myndi Disallow: /*image* loka ekki aðeins /images/ möppunni heldur einnig URL eins og /article/my-image.jpg.
Þegar jokertákn eru notuð skaltu athuga vandlega allt áhrifasvið þeirra og ganga úr skugga um að þú sért ekki að loka síðum óvart.
3.7 Skyndiminni robots.txt: tafir áður en breytingar birtast
Leitarvélar vista robots.txt í skyndiminni, þannig að breytingar birtast ekki alltaf strax. Jafnvel þótt þú athugir með prófunartóli strax eftir breytingu getur niðurstaðan enn byggst á fyrri útgáfunni.
Í Google Search Console geturðu beðið um að robots.txt sé sótt aftur í gegnum robots.txt prófarann. Þetta getur stytt töfina áður en skyndiminnið uppfærist og breytingarnar birtast.
Með því að fylgja þessum varúðaratriðum og stilla robots.txt rétt geturðu bætt SEO og forðast óþarfa áhættu.
Kafli 4: Tól til að búa til robots.txt og aðferðir til staðfestingar
Þessi kafli útskýrir hvernig á að búa til, prófa og endurskoða robots.txt á skilvirkan hátt. Með því að fylgja þessum skrefum geturðu komið í veg fyrir óviljandi mistök og hámarkað frammistöðu vefs.
4.1 Notkun tóla til að búa til robots.txt
Þú getur skrifað robots.txt handvirkt, en tól á netinu gera það hraðar og með færri mistökum. Þessi tól búa robots.txt skrá til sjálfvirkt þegar þú slærð inn nauðsynleg fyrirmæli, sem hjálpar til við að fækka setningafræðivillum og reglumistökum.
Dæmigerð tól eru eftirfarandi.
- Google Search Console robots.txt-prófari: Innbyggt tól í Search Console sem getur búið til, breytt og prófað robots.txt. Ef þú notar nú þegar Search Console er þetta oft auðveldasti kosturinn.
- SEO-prófunartól: Sum SEO-tól innihalda aðgerðir til að búa til robots.txt. Þar sem hægt er að nota þau samhliða öðrum SEO-aðgerðum eru þau þægileg þegar vefur er fínstilltur í víðara samhengi.
- Önnur robots.txt generator tól á netinu: Ef þú leitar á vefnum að robots.txt generator finnurðu mörg ókeypis tól. Þau henta til að búa til einfalda robots.txt skrá.
Hvaða tól er best fer eftir þörfum þínum og stærð vefsins.
4.2 Prófun robots.txt í Google Search Console
Þegar þú hefur búið til robots.txt verður þú að prófa hana til að staðfesta að skriðlar túlki hana rétt. Google Search Console býður upp á robots.txt prófunartól sem getur sýnt hvort tiltekið URL sé skriðanlegt og hvort villur séu í skránni.
Prófunarferlið er eftirfarandi.
- Opnaðu Google Search Console og veldu eignina fyrir viðkomandi vef.
- Veldu robots.txt prófarann úr valmyndinni vinstra megin.
- Sláðu inn URL sem þú vilt prófa og smelltu á Test hnappinn.
- Yfirfarðu hvort URL sé skriðanlegt og hvaða fyrirmæli eru virk.
Alltaf þegar þú breytir robots.txt skaltu nota þetta tól og staðfesta að skráin virki nákvæmlega eins og ætlað er.
4.3 Yfirferð og lagfæring robots.txt
Þar sem robots.txt er sett í rótarmöppu vefs geturðu opnað hana beint í vafra, yfirfarið innihaldið og breytt henni ef þörf krefur. Til dæmis birtir https://example.com/robots.txt skrána.
Þegar leiðréttingar eru gerðar skaltu opna robots.txt í textaritli, gera nauðsynlegar breytingar og hlaða henni upp á netþjóninn. Þar sem leitarvélar þurfa að endurnýja skyndiminni sitt getur tekið smá tíma áður en breytingarnar birtast.
Robots.txt prófarinn í Google Search Console gerir þér kleift að breyta og prófa á sama tíma, sem auðveldar ítrekaðar leiðréttingar og staðfestingu.
Með því að fylgja þessum skrefum geturðu haldið robots.txt í sem bestu ástandi og bætt bæði SEO og frammistöðu vefs.
Kafli 5: Stjórn skriðla umfram robots.txt
Munurinn á meta robots taginu og hvernig á að nota hvort fyrir sig
Meta robots tagið er notað til að stjórna skriðlum á stakri síðu. Þegar það er notað ásamt robots.txt gerir það fínni stjórn mögulega. Noindex segir leitarvélum að setja síðu ekki í vísitölu og nofollow segir þeim að fylgja ekki tenglum. Ef þú bætir noindex við síðu sem hefur einnig verið lokuð fyrir skriði með robots.txt getur það í sumum tilvikum hjálpað til við að fjarlægja þegar vísitölusetta síðu úr leitarniðurstöðum.
Notkun með noindex og nofollow
Þú getur tilgreint mörg fyrirmæli aðskilin með kommum, til dæmis noindex,follow.
Stjórn með X-Robots-Tag HTTP hausnum
Með því að nota X-Robots-Tag í HTTP svarhausnum geturðu einnig stjórnað skriði fyrir skrár sem eru ekki HTML, til dæmis PDF-skjöl og myndir. Þetta krefst stillinga á netþjóni.
Samantekt
Robots.txt er ómissandi tól bæði fyrir SEO og frammistöðu vefs.
Þegar þú skilur atriðin sem fjallað er um í þessari grein og stillir robots.txt rétt geturðu dregið fram fulla möguleika vefsins þíns. Mikilvægt er að fylgjast með nýjustu stöðu mála og halda áfram að fínstilla robots.txt með tímanum.
Viðauki: robots.txt dæmi, þar á meðal lengra komin dæmi
- Leyfa aðeins tilteknar skráargerðir fyrir ákveðinn skriðil:
User-agent: Googlebot-Image Allow: /images/*.jpg Allow: /images/*.png Disallow: / User-agent: * Disallow: /images/
- Hægja á aðgangi fyrir ákveðinn skriðil:
User-agent: AhrefsBot Crawl-delay: 10 User-agent: * Allow: /
Notaðu þessi lengra komnu mynstur til að fínstilla vefinn þinn og færa hann nær árangri.