Rritni SEO-në me robots.txt: përmirësoni performancën e faqes përmes kontrollit më të zgjuar të crawler-ëve
Kontrolli i crawler-ëve luan një rol të rëndësishëm si në SEO ashtu edhe në performancën e faqes. Crawler-ët e motorëve të kërkimit lëvizin nëpër faqen tuaj dhe mbledhin informacion në mënyrë që të marrin të dhënat e nevojshme për të shfaqur faqet në rezultatet e kërkimit. Duke kontrolluar si duhet sjelljen e crawler-ëve, mund të përmirësoni rezultatet e SEO-së dhe performancën e faqes.
Mjeti qendror për këtë është robots.txt. Ky artikull e shpjegon robots.txt në thellësi, nga bazat deri te përdorimi praktik, pikat e kujdesit dhe teknikat e avancuara, në mënyrë që ta zotëroni vërtet.
Kapitulli 1: bazat e robots.txt
Çfarë është robots.txt? Si funksionon kontrolli i crawler-ëve
Robots.txt është një skedar tekst i thjeshtë i vendosur në drejtorinë rrënjë të një faqeje interneti. Ai u tregon crawler-ëve cilat pjesë të faqes mund të zvarriten dhe cilat pjesë nuk duhet të zvarriten.
Kur një crawler hyn në një faqe interneti, zakonisht lexon së pari robots.txt dhe më pas e zvarrit faqen sipas atyre udhëzimeve. Robots.txt është një kërkesë për crawler-ët, jo një bllokim i detyruar, por motorët kryesorë të kërkimit e respektojnë atë. Megjithatë, meqë crawler-at keqdashës dhe disa bot-e të tjera mund ta injorojnë robots.txt, nuk duhet të mbështeteni kurrë vetëm tek ai për të mbrojtur informacionin konfidencial.
Ku vendoset robots.txt, formati i skedarit dhe grupi i karaktereve
Robots.txt duhet të vendoset në drejtorinë rrënjë të faqes, si për shembull https://example.com/robots.txt.
Nuk do të funksionojë nëse e vendosni në një nëndrejtori. Emri i skedarit gjithashtu duhet të jetë robots.txt me shkronja të vogla.
Formati i skedarit duhet të jetë tekst i thjeshtë, dhe kodimi UTF-8 rekomandohet fuqimisht. Nëse përdorni një kodim tjetër, crawler-ët mund të mos e interpretojnë siç duhet skedarin.
Sintaksa bazë: User-agent, Disallow, Allow dhe detajet e rregullave
Robots.txt shkruhet me direktiva si User-agent, Disallow dhe Allow. Këto direktiva janë të ndjeshme ndaj shkronjave të mëdha dhe të vogla dhe shkruhen një për rresht.
User-agent:
Specifies which crawler a rule applies to. You can name a specific crawler or use * for every crawler. By declaring multiple User-agent lines, you can define different rules for different crawlers. Examples:
User-agent: Googlebot,
User-agent: Bingbot,
User-agent: *.
Disallow:
Specifies a path that must not be crawled. It is written as a relative path beginning with a slash. An empty Disallow line means everything is allowed. Examples:
Disallow: /private/,
Disallow:.
Allow:
Specifies a path that may be crawled. It is used when you want to allow part of a location that has been blocked with Disallow. An Allow rule takes precedence over Disallow in that case. Example:
Disallow: /private/and
Allow: /private/public.html.
Si të përdorni wildcard-et (*) dhe ($): përputhje fleksibël e rrugëve dhe përdorim i avancuar
The asterisk matches any character string. For example, Disallow: /*.pdf blocks every PDF file, and Disallow: /images/*.jpg$ blocks only JPG files under the /images/ directory.
The dollar sign matches the end of a line. For example, Disallow: /blog/$ blocks access to the /blog/ directory itself while still allowing addresses such as /blog/article1/.
Vendosja e Crawl-delay: zvogëlimi i ngarkesës së serverit dhe efekti i tij te Googlebot
Me direktivën Crawl-delay, mund të përcaktoni intervalin midis kërkesave të crawler-ëve në sekonda. Kjo mund të ndihmojë kur ngarkesa e serverit është e lartë, por Googlebot nuk e mbështet zyrtarisht Crawl-delay. Google më parë rekomandonte cilësime të crawl-rate në Search Console, por tani e trajton këtë automatikisht, ndaj zakonisht nuk kërkon shumë vëmendje.
Because Google has improved its automatic crawl-rate adjustment, and in line with a broader effort to simplify the user experience, Google is ending support for the crawl rate limiter tool in Search Console.
Planned end of support for the crawl-rate limiter tool in Search Console
Mund të ketë ende efekt te crawler-ët e tjerë.
Përcaktimi i Sitemap-it: udhëzimi i crawler-ëve dhe menaxhimi i disa sitemap-eve
Mund të specifikoni URL-të e sitemap-it me direktivën Sitemap. Kjo i ndihmon crawler-ët të kuptojnë më lehtë strukturën e faqes dhe përmirëson efikasitetin e zvarritjes. Mund të specifikoni edhe disa sitemap-e. Shembuj: Sitemap: https://example.com/sitemap.xml dhe Sitemap: https://example.com/sitemap_images.xml.
★
Supercharge SEO: Build a Google-Friendly Site Structure with sitemap.xml
Kapitulli 2: shembuj praktikë të robots.txt
Mbrojtja e faqeve që kërkojnë hyrje: Disallow: /member/
Përmbajtja që kërkon hyrje, si faqet vetëm për anëtarë, zakonisht duhet të përjashtohet nga indeksimi i motorëve të kërkimit.
Duke përdorur robots.txt, mund t'i pengoni crawler-ët të aksesojnë këto faqe dhe të ulni zvarritjen e panevojshme. Për shembull, nëse përmbajtja vetëm për anëtarë ruhet nën /member/, shkrimi i Disallow: /member/ bllokon aksesin për çdo skedar dhe nëndrejtori nën atë vend.
Megjithatë, robots.txt është vetëm një kërkesë për crawler-ët, ndaj crawler-at keqdashës mund ta injorojnë atë.
Informacioni vërtet i ndjeshëm duhet të mbrohet me autentikim nga ana e serverit, jo me robots.txt. Robots.txt duhet të trajtohet si një metodë mbështetëse për kufizimin e aksesit të crawler-ëve dhe për kursimin e burimeve të serverit. Në shumë raste, është e përshtatshme të lejohet akses në vetë faqen e hyrjes, në mënyrë që crawler-ët të kuptojnë se kërkohet autentikim.
Kontrolli i URL-ve me parametra: Disallow: /*?page=*
URL-të me parametra ndonjëherë e bëjnë të njëjtën përmbajtje të aksesueshme nën disa URL, gjë që mund të trajtohet si përmbajtje e dyfishtë. Për shembull, nëse përdorni një parametër ?page= për ndarjen në faqe, mund të përfundoni me faqe si example.com/blog?page=1 dhe example.com/blog?page=2 që kanë URL të ndryshme, por pothuajse të njëjtën përmbajtje.
Duke shkruar Disallow: /*?page=*, mund të bllokoni aksesin për çdo URL që përfshin parametrin page=. Megjithatë, kjo mund të heqë të gjithë përmbajtjen e ndarë në faqe nga motorët e kërkimit dhe mund të dëmtojë SEO-në.
Një qasje më e mirë është të përdorni një etiketë canonical dhe të tregoni URL-në kanonike. Nëse çdo faqe e ndarë në faqe tregon te faqja e parë, si për shembull example.com/blog, me një etiketë canonical, mund të shmangni problemet me përmbajtjen e dyfishtë dhe t'u komunikoni motorëve të kërkimit faqen e saktë.
Përdorimi i robots.txt për të kontrolluar ndarjen në faqe duhet të trajtohet si zgjidhje e fundit kur zbatimi i etiketave canonical nuk është i mundur.
Kontrolli i një crawler-i të caktuar: User-agent: YandexBot Disallow: /
Me direktivën User-agent, mund të vendosni rregulla të ndryshme për crawler-ë të ndryshëm. Nëse shkruani User-agent: YandexBot dhe më pas Disallow: /, vetëm YandexBot do të bllokohet nga e gjithë faqja. Crawler-ët e tjerë do të ndjekin rregullat e vendosura nën seksionet e tjera User-agent, ose rregullat nën User-agent: *.
Rastet tipike kur mund të dëshironi të kontrolloni një crawler të caktuar përfshijnë sa vijon.
Kur një crawler i caktuar po vendos ngarkesë të tepërt në server
Kur një crawler i caktuar po injoron robots.txt dhe po shkakton probleme
Kur dëshironi të fshehni përmbajtjen specifike për një rajon nga crawler-ët e motorëve të kërkimit që nuk përdoren në atë rajon
Në këto dhe raste të ngjashme, direktiva User-agent është e dobishme. Emrat e crawler-ëve kryesorë të motorëve të kërkimit mund të konfirmohen në dokumentacionin zyrtar të secilit motor kërkimi.
Kapitulli 3: kujdeset dhe gabimet e zakonshme në robots.txt
Robots.txt është një mjet i fuqishëm, por cilësimet e pasakta mund të kenë pasoja serioze për një faqe interneti. Ky kapitull shpjegon gabimet e zakonshme dhe pikat e kujdesit, në mënyrë që të mund ta përdorni robots.txt në mënyrë të sigurt dhe efektive.
3.1 Dëmi SEO nga gabimet në robots.txt: zhdukja nga kërkimi
Gabimi më serioz në robots.txt është bllokimi aksidental i faqeve të rëndësishme nga zvarritja.
Nëse bllokoni faqet e produkteve ose të shërbimeve, për shembull, ato faqe mund të dalin nga indeksi i kërkimit dhe të zhduken nga rezultatet e kërkimit. Kjo e ul drejtpërdrejt trafikun e faqes dhe mund ta dëmtojë rëndë SEO-në.
Sa herë që ndryshoni robots.txt, përdorni gjithmonë mjetin e testimit të robots.txt në Google Search Console për të konfirmuar se bllokohen vetëm faqet e synuara. Pas ndryshimit, vazhdoni të monitoroni rregullisht renditjen dhe trafikun, në mënyrë që të kapni çdo efekt të padëshiruar.
3.2 Gabimi i përdorimit të Allow për faqet që synonit t'i bllokonit
Direktiva Allow duhet të përdoret vetëm kur dëshironi të lejoni një pjesë të një vendndodhjeje që është bllokuar me Disallow. Për shembull, nëse dëshironi të bllokoni /private/ por të lejoni vetëm /private/public.html, do të përdornit si Disallow: /private/ ashtu edhe Allow: /private/public.html.
Përdorimi i vetëm i Allow për një zonë që nuk është bllokuar nuk ka efekt. Crawler-ët në përgjithësi supozojnë se çdo faqe është e aksesueshme, përveç nëse është bllokuar shprehimisht me Disallow.
3.3 Ndjeshmëria ndaj shkronjave të mëdha dhe të vogla: kushtojini vëmendje
User-agent, Disallow, Allow dhe rrugët e URL-ve janë të gjitha të ndjeshme ndaj shkronjave të mëdha dhe të vogla. Për shembull, disallow: /images/ trajtohet ndryshe nga Disallow: /images/ dhe nuk do të funksionojë siç synohet.
Kur shkruani robots.txt, përdorni gjithmonë kapitalizimin e saktë dhe kontrolloni me kujdes për gabime tipografike.
3.4 Dallimet në sjelljen e crawler-ëve: si të përballeni me crawler-at keqdashës
Robots.txt funksionon me crawler-ë me mirëbesim si Googlebot dhe Bingbot, por crawler-at keqdashës mund ta injorojnë plotësisht. Kjo do të thotë se robots.txt vetëm nuk mund të mbrojë informacionin e ndjeshëm.
Informacioni që është vërtet konfidencial duhet të mbrohet me autentikim nga ana e serverit ose me kufizime aksesi. Duhet të kuptoni se robots.txt është vetëm një mjet për kontrollimin e crawler-ëve bashkëpunues dhe nuk mjafton si masë sigurie.
3.5 Vetëm robots.txt nuk mund të ofrojë siguri
Siç u përmend më lart, robots.txt nuk mjafton si masë sigurie. Çdokush mund ta lexojë përmbajtjen e një skedari robots.txt, ndaj përdoruesit keqdashës mund ta përdorin si një të dhënë për të gjetur zonat e kufizuara.
Siguria reale kërkon një qasje të shtresëzuar që kombinon disa metoda, përfshirë mbrojtjen me fjalëkalim, listat e kontrollit të aksesit dhe firewall-et, jo vetëm robots.txt.
3.6 Sjellje e papritur nga përdorimi i tepruar i wildcard-eve
Wildcard-et si * dhe $ e bëjnë përputhjen e rrugëve më fleksibël, por përdorimi i tepruar i tyre mund të bllokojë faqe që nuk keni dashur kurrë t'i bllokonit. Për shembull, Disallow: /*image* do të bllokonte jo vetëm drejtorinë /images/, por edhe një URL si /article/my-image.jpg.
Kur përdorni wildcard-e, kontrolloni me kujdes shtrirjen e plotë të efektit të tyre dhe sigurohuni që nuk po bllokoni faqe pa dashje.
3.7 Caching i robots.txt: vonesa para se ndryshimet të reflektohen
Motorët e kërkimit e ruajnë në cache robots.txt, ndaj ndryshimet nuk pasqyrohen gjithmonë menjëherë. Edhe nëse e kontrolloni me një mjet testimi menjëherë pas redaktimit, rezultati mund të bazohet ende në versionin e mëparshëm.
Në Google Search Console, mund të kërkoni që robots.txt të merret sërish përmes testuesit të robots.txt. Kjo mund ta shkurtojë vonesën derisa të përditësohet cache-i dhe ndryshimet tuaja të pasqyrohen.
Duke ndjekur këto kujdesje dhe duke e konfiguruar si duhet robots.txt, mund të përmirësoni SEO-në dhe të shmangni rrezikun e panevojshëm.
Kapitulli 4: mjetet e krijimit të robots.txt dhe metodat e verifikimit
Ky kapitull shpjegon si të krijoni, testoni dhe rishikoni robots.txt në mënyrë efikase. Duke ndjekur këto hapa, mund të parandaloni gabimet e padëshiruara dhe të maksimizoni performancën e faqes.
4.1 Përdorimi i mjeteve për krijimin e robots.txt
Mund ta shkruani robots.txt manualisht, por mjetet online ju lejojnë ta bëni më shpejt dhe me më pak gabime. Këto mjete gjenerojnë automatikisht një skedar robots.txt sapo të futni direktivat e nevojshme, gjë që ndihmon në uljen e gabimeve sintaksore dhe të rregullave.
Mjetet përfaqësuese përfshijnë sa vijon.
Google Search Console robots.txt tester:
Një mjet i integruar në Search Console që mund të krijojë, redaktojë dhe testojë robots.txt. Nëse tashmë përdorni Search Console, kjo shpesh është zgjedhja më e lehtë.
Mjetet e kontrollit SEO:
Disa mjete SEO përfshijnë funksione për gjenerimin e robots.txt. Meqë mund të përdoren së bashku me funksione të tjera SEO, ato janë të përshtatshme kur optimizoni një faqe më gjerësisht.
Gjeneratorë të tjerë online të robots.txt:
Nëse kërkoni në web për robots.txt generator, do të gjeni shumë mjete falas. Këto janë të përshtatshme për krijimin e një skedari të thjeshtë robots.txt.
Cili mjet është më i miri varet nga nevojat tuaja dhe madhësia e faqes.
4.2 Testimi i robots.txt në Google Search Console
Pasi të krijoni robots.txt, duhet ta testoni për të verifikuar që crawler-ët e interpretojnë saktë. Google Search Console ofron një mjet testimi të robots.txt që mund të tregojë nëse një URL e caktuar është e zvarritshme dhe nëse ka gabime në skedar.
Procesi i testimit është si më poshtë.
Hapni Google Search Console dhe zgjidhni pronësinë për faqen e synuar.
Zgjidhni robots.txt tester nga menuja në të majtë.
Shkruani URL-në që dëshironi të testoni dhe klikoni butonin Test.
Kontrolloni nëse URL-ja është e zvarritshme dhe cila direktivë po aplikohet.
Sa herë që ndryshoni robots.txt, përdorni këtë mjet dhe konfirmoni se skedari funksionon saktësisht siç synohet.
4.3 Rishikimi dhe korrigjimi i robots.txt
Meqë robots.txt vendoset në drejtorinë rrënjë të një faqeje interneti, mund ta hapni drejtpërdrejt në shfletues, të shqyrtoni përmbajtjen e tij dhe ta rishikoni nëse është e nevojshme. Për shembull, duke hapur https://example.com/robots.txt do të shfaqet skedari.
Kur bëni korrigjime, hapni robots.txt në një editor teksti, bëni ndryshimet e nevojshme dhe ngarkojeni në server. Meqë motorët e kërkimit duhet të rifreskojnë cache-in e tyre, mund të kalojë pak kohë para se ndryshimet të pasqyrohen.
Robots.txt tester në Google Search Console ju lejon të redaktoni dhe të testoni në të njëjtën kohë, duke e bërë më të lehtë përsëritjen e korrigjimeve dhe verifikimit.
Duke ndjekur këto hapa, mund ta mbani robots.txt në një gjendje optimale dhe të përmirësoni si SEO-në ashtu edhe performancën e faqes.
Kapitulli 5: kontrolli i crawler-ëve përtej robots.txt
Dallimet nga etiketa meta robots dhe si të përdorni secilën
Etiketa meta robots përdoret për të kontrolluar crawler-ët në nivel individual faqeje. Kur përdoret së bashku me robots.txt, ajo mundëson kontroll më të hollësishëm. Noindex u thotë motorëve të kërkimit të mos e indeksojnë një faqe, dhe nofollow u thotë të mos ndjekin lidhjet. Nëse shtoni noindex në një faqe që është bllokuar edhe nga zvarritja me robots.txt, në disa raste mund të ndihmojë në heqjen e një faqeje tashmë të indeksuar nga rezultatet e kërkimit.
Përdorimi i saj së bashku me noindex dhe nofollow
Mund të specifikoni disa direktiva të ndara me presje, si noindex,follow.
Kontrolli përmes kokës HTTP X-Robots-Tag
Duke përdorur X-Robots-Tag në kokën e përgjigjes HTTP, mund të kontrolloni edhe zvarritjen e skedarëve jo-HTML si PDF-të dhe imazhet. Kjo kërkon konfigurim nga ana e serverit.
Përmbledhje
Robots.txt është një mjet i pazëvendësueshëm si për SEO-në ashtu edhe për performancën e faqes.
Kur i kuptoni pikat e trajtuara në këtë artikull dhe e konfiguroni robots.txt si duhet, mund të nxirrni potencialin e plotë të faqes suaj. Është e rëndësishme të qëndroni të përditësuar dhe të vazhdoni të optimizoni robots.txt me kalimin e kohës.
Shtojca: shembuj të robots.txt, përfshirë edhe ata të avancuar
Lejo vetëm lloje të caktuara skedarësh për një crawler të caktuar:
User-agent: Googlebot-Image Allow: /images/*.jpg Allow: /images/*.png Disallow: / User-agent: * Disallow: /images/
Ngadalëso aksesin për një crawler të caktuar:
User-agent: AhrefsBot Crawl-delay: 10 User-agent: * Allow: /
Use these advanced patterns to optimize your website and move it toward success.