robots.txt ഉപയോഗിച്ച് SEO ശക്തിപ്പെടുത്തുക: കൂടുതൽ ബുദ്ധിമാനായ crawler നിയന്ത്രണത്തിലൂടെ സൈറ്റ് പ്രകടനം മെച്ചപ്പെടുത്തുക
Crawler നിയന്ത്രണം SEOയിലും വെബ്സൈറ്റ് പ്രകടനത്തിലും പ്രധാന പങ്ക് വഹിക്കുന്നു. Search engine crawlers സൈറ്റിലൂടെ സഞ്ചരിച്ച് പേജുകൾ search result-കളിൽ കാണിക്കാൻ ആവശ്യമായ വിവരങ്ങൾ ശേഖരിക്കുന്നു. Crawlers-ന്റെ പെരുമാറ്റം ശരിയായി നിയന്ത്രിച്ചാൽ, SEO ഫലവും സൈറ്റിന്റെ പ്രകടനവും മെച്ചപ്പെടുത്താം.
ഇതിന് കേന്ദ്ര ഉപകരണം robots.txt ആണ്. അടിസ്ഥാനങ്ങളിൽ നിന്ന് പ്രായോഗിക ഉപയോഗം, ജാഗ്രതാ കാര്യങ്ങൾ, പുരോഗമിച്ച സാങ്കേതിക വിദ്യകൾ എന്നിവവരെ ഈ ലേഖനം വിശദീകരിക്കുന്നു, അതിലൂടെ നിങ്ങൾക്ക് അതിനെ ശരിക്കും കൈവശപ്പെടുത്താൻ കഴിയും.
അദ്ധ്യായം 1: robots.txt-യുടെ അടിസ്ഥാനങ്ങൾ
robots.txt എന്താണ്? crawler നിയന്ത്രണം എങ്ങനെ പ്രവർത്തിക്കുന്നു
robots.txt ഒരു വെബ്സൈറ്റിന്റെ root directory-യിൽ വയ്ക്കുന്ന plain-text ഫയലാണ്. സൈറ്റിന്റെ ഏത് ഭാഗങ്ങൾ crawlers crawl ചെയ്യാമെന്നും ഏത് ഭാഗങ്ങൾ crawl ചെയ്യരുതെന്നും ഇത് അറിയിക്കുന്നു.
ഒരു crawler ഒരു വെബ്സൈറ്റ് ആക്സസ് ചെയ്യുമ്പോൾ, സാധാരണയായി ആദ്യം robots.txt വായിച്ച് പിന്നീട് ആ നിർദ്ദേശങ്ങൾ അനുസരിച്ച് സൈറ്റ് crawl ചെയ്യും. ഇത് crawlers-നോടുള്ള ഒരു അഭ്യർത്ഥന മാത്രമാണ്, ബലപ്രയോഗത്തിലുള്ള തടയൽ അല്ലെങ്കിലും പ്രധാന search engine-കൾ അത് മാനിക്കുന്നു. എന്നിരുന്നാലും, ദുഷ്ട crawlers-ഉം മറ്റ് ചില bots-ഉം robots.txt അവഗണിക്കാവുന്നതിനാൽ, രഹസ്യ വിവരങ്ങൾ സംരക്ഷിക്കാൻ അതിൽ മാത്രം ആശ്രയിക്കരുത്.
robots.txt എവിടെ വയ്ക്കണം, ഫയൽ ഫോർമാറ്റ്, character set
robots.txt https://example.com/robots.txt പോലുള്ള സൈറ്റിന്റെ root directory-യിൽ തന്നെ ഉണ്ടായിരിക്കണം.
അതിനെ subdirectory-യിൽ വച്ചാൽ അത് പ്രവർത്തിക്കില്ല. ഫയൽനാമവും ചെറിയ അക്ഷരങ്ങളിലുള്ള robots.txt തന്നെയായിരിക്കണം.
ഫയൽ ഫോർമാറ്റ് plain text ആയിരിക്കണം, UTF-8 encoding ശക്തമായി ശുപാർശ ചെയ്യുന്നു. മറ്റേതെങ്കിലും encoding ഉപയോഗിച്ചാൽ, crawlers ഫയൽ ശരിയായി വ്യാഖ്യാനിക്കാതിരിക്കാം.
അടിസ്ഥാന syntax: User-agent, Disallow, Allow, rule വിശദാംശങ്ങൾ
robots.txt User-agent, Disallow, Allow പോലുള്ള directives ഉപയോഗിച്ചാണ് എഴുതുന്നത്. ഇവ case-sensitive ആണ്, ഓരോ വരിയിലും ഓരോ directive വീതം എഴുതണം.
- User-agent: ഇഴയുന്ന നിയമങ്ങള് ഏതു് വ്യക്തമാക്കുന്നു എന്നു് വ്യക്തമാക്കുന്നു. നിങ്ങള്ക്ക് ഓരോ ഇഴയല്ക്കും * എന്നോ അതുപയോഗിക്കാം. ഒന്നിലധികം ZZZZZZZZZ വരികള് നിര്വ്വചിക്കുന്നതിനാല്, നിങ്ങള്ക്ക് വ്യത്യസ്ഥ നിയമങ്ങള് നിര്വ്വചിക്കാം. ഉദാഹരണങ്ങള്:
User-agent: Googlebot,User-agent: Bingbot,User-agent: *. - Disallow: വരണ്ട ഒരു മാര്ഗ്ഗം വ്യക്തമാക്കുന്നു. സ്ലാഷില് ശൂന്യമായ ZZZZZZG വരിയുടെ അര്ത്ഥം, എല്ലാം അനുവദനീയമാണ്. ഉദാഹരണങ്ങള്:
Disallow: /private/,Disallow:. - Allow: ഇഴയേണ്ട ഒരു മാര്ഗ്ഗം വ്യക്തമാക്കുന്നു. ZZZZZZ-നൊപ്പം തടസ്സപ്പെടുത്തിയിരിക്കുന്ന സ്ഥലത്തിന്റെ ഭാഗവും നിങ്ങള് അനുവദിക്കണമെങ്കില് ഇതുപയോഗിക്കുന്നു. ZZZZZZZD വിന് ആ കേസില് ZZZZZZZ സോസേഡിനു് മുന്ഗണന നല്കുന്നു. ഉദാഹരണം:
Disallow: /private/പിന്നെAllow: /private/public.html.
wildcard-കൾ (*)യും ($)യും എങ്ങനെ ഉപയോഗിക്കാം: ഫ്ലെക്സിബിൾ പാത മാച്ചിംഗും advanced usage-ും
Asterisk ഏതൊരു character string-നെയും പൊരുത്തപ്പെടുത്തും. ഉദാഹരണത്തിന്, Disallow: /*.pdf എല്ലാ PDF ഫയലുകളും തടയും, Disallow: /images/*.jpg$ /images/ directory-യിലെ JPG ഫയലുകൾ മാത്രം തടയും.
Dollar sign ഒരു വരിയുടെ അവസാനത്തെയാണ് പൊരുത്തപ്പെടുത്തുന്നത്. ഉദാഹരണത്തിന്, Disallow: /blog/$ /blog/ ഡയറക്ടറിയിലേക്ക് മാത്രം ആക്സസ് തടയും, പക്ഷേ
Crawl-delay സജ്ജീകരിക്കൽ: സർവർ ലോഡ് കുറയ്ക്കലും Googlebot-ലുണ്ടാകുന്ന സ്വാധീനവും
Crawl-delay directive ഉപയോഗിച്ച് crawler അഭ്യർത്ഥനകളിലേക്കുള്ള ഇടവേള സെക്കൻഡുകളിൽ നിർദ്ദേശിക്കാം. സർവർ ലോഡ് കൂടുതലായിരിക്കുമ്പോൾ ഇത് സഹായിക്കും, പക്ഷേ Googlebot ഔദ്യോഗികമായി Crawl-delay പിന്തുണയ്ക്കുന്നില്ല. മുൻപ് Google Search Console-ൽ crawl-rate ക്രമീകരണങ്ങൾ ശുപാർശ ചെയ്തിരുന്നു, പക്ഷേ ഇപ്പോൾ അത് സ്വയം കൈകാര്യം ചെയ്യുന്നു, അതിനാൽ സാധാരണയായി അതിൽ അധികം ശ്രദ്ധിക്കേണ്ടതില്ല.
Google automatic crawl-rate adjustment മെച്ചപ്പെടുത്തിയതിനാൽ, കൂടാതെ ഉപയോക്തൃാനുഭവം ലളിതമാക്കാനുള്ള കൂടുതൽ ശ്രമങ്ങളുടെ ഭാഗമായി, Google Search Console-യിലെ crawl rate limiter tool-ിന് പിന്തുണ അവസാനിപ്പിക്കുകയാണ്.
Search Console-ിലെ crawl-rate limiter tool-ിന് പിന്തുണ അവസാനിപ്പിക്കുന്ന പദ്ധതി
അതേത് മറ്റ് crawlers-ൽ ഇപ്പോഴും സ്വാധീനിക്കാം.
Sitemap നിർദ്ദിഷ്ടമാക്കൽ: crawlers-നെ നയിക്കുകയും പല sitemap-കളും കൈകാര്യം ചെയ്യുകയും ചെയ്യുക
Sitemap directive ഉപയോഗിച്ച് sitemap URL-കൾ വ്യക്തമാക്കാം. ഇതിലൂടെ crawlers സൈറ്റിന്റെ ഘടന കൂടുതൽ എളുപ്പത്തിൽ മനസ്സിലാക്കുകയും crawl കാര്യക്ഷമത മെച്ചപ്പെടുകയും ചെയ്യും. ഒരേസമയം ഒന്നിലധികം sitemap-കളും നൽകാം. ഉദാഹരണങ്ങൾ: Sitemap: https://example.com/sitemap.xml എന്നും Sitemap: https://example.com/sitemap_images.xml എന്നും.
★ സൂപ്പര് എര്സര് ZZZZZZZ: Google- കൂട്ടത്തോടെ ZZZZZ-നൊപ്പം ഒരു ഗൂഗിള് സൈറ്റ് നിര്മ്മിക്കുക
ലോഗിൻ ആവശ്യമായ പേജുകൾ സംരക്ഷിക്കൽ: Disallow: /member/
സുരക്ഷാ ലോഗിന് നിര്മ്മിച്ച താളുകള്: ZZZZZZ: ZZ1ZZZZZZ
എന്നാൽ robots.txt crawlers-നോടുള്ള ഒരു അഭ്യർത്ഥന മാത്രമായതിനാൽ, ദുഷ്ട crawlers അതിനെ അവഗണിക്കാം.
ZZZZ ഉപയോഗിക്കുമ്പോള്, ഈ താളുകള് ഉപയോഗിക്കുന്നതില് നിന്നും വരണ്ടുനടക്കുന്നവ ഒഴിവാക്കാം. ഉദാഹരണത്തിനു്, ZZZZZZZ- യുടെ കീഴില് അംഗങ്ങള് മാത്രം ഉള്ളടക്കമുണ്ടാക്കിയിട്ടുണ്ടെങ്കില്, എഴുതുന്നു. Disallow: /member/ ആ സ്ഥാനത്ത് എല്ലാ ഫയലും ഉപഫോള്ഡും ലഭ്യമാക്കുന്നതിനുള്ള ബ്ളോക്കുകള്.
പാരാമീറ്റർ അടങ്ങിയ URLs നിയന്ത്രിക്കൽ: Disallow: /*?page=*
ZZZZZ- ല് അല്ല, സര്വറിന്റെ ആധികാരികത ഉറപ്പാക്കുന്ന വിവരങ്ങള് സര്വറില് ലഭ്യമാകണം. റോബോട്ടുകള് ക്രമീകരിക്കാനും സജ്ജീകരിക്കാനും ഉള്ള സര്വര് വിഭവങ്ങള് പരിമിതപ്പെടുത്താനുമുള്ള ഒരു മാര്ഗ്ഗമായി കണക്കാക്കണം. പല സന്ദര്ഭങ്ങളില്, ലോഗിന് താളില് തന്നെ പ്രവേശിക്കുവാന് അനുവാദിയ്ക്കാം.
ആനിമേറ്റ് ചെയ്ത ZZZZZZZ: ZZ1ZZZ: ZZZZZZ: ZZ2ZZZZZZ
പരാമാതൃക ZZZZZZZ ചിലപ്പോള് ഒരേ അളവില് ZZZZZ-ഉപയോഗത്തില് സാധ്യമാകുന്നു, അതു് ഒരു ഓപ്ഷന് ഉള്ളതായിരിക്കാം. ഉദാഹരണമായി, നിങ്ങള് ഉപയോഗിക്കുന്നതെങ്കില്. താള് പൈന്സേഷന് ഫോര്മാറ്റ് ചെയ്യുന്നതിനുള്ള പാളി, ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZഇല് അവസാനിക്കുന്നു.
എഴുതുന്നതു് Disallow: /*?page=*, താള്=അര്ജെന്റ് ഉള്പ്പെടുത്തുന്ന, ZZZZZZZ എന്ന സജ്ജീകരണത്തിനു് തടയാം. പക്ഷേ, ഇതു് തെരച്ചില് എഞ്ചിന്സില് നിന്നും ഉള്ളടക്കമെല്ലാം നീക്കം ചെയ്യുവാനും ZZ1ZZZZZ-നെ വേദനിപ്പിക്കാനും കഴിയും.
ഒരു പ്രത്യേക crawler നിയന്ത്രിക്കൽ: User-agent: YandexBot Disallow: /
ZZZZZ ഉപയോഗിക്കുന്നത് പാന്ജിന്ഷന് നിയന്ത്രിക്കാന് ഉപയോഗിക്കുമ്പോള് അവസാന മാര്ഗ്ഗമായി കണക്കാക്കണം. തിരിച്ചറിയല് ടാഗുകള് പ്രവര്ത്തിപ്പിയ്ക്കാന് സാധ്യമല്ല.
ഒരു പ്രത്യേക crawler-നെ നിയന്ത്രിക്കേണ്ട സാധാരണ സാഹചര്യങ്ങൾ താഴെപ്പറയുന്നതുപോലെയാണ്.
ZZZZZ കമാന്ഡ് ഉപയോഗിച്ച്, നിങ്ങള്ക്ക് വ്യത്യസ്ത നിയമങ്ങള് വെക്കാം. നിങ്ങള് എഴുതുകയാണെങ്കില്. User-agent: YandexBot പിന്നെ.. Disallow: /. ZZZZZZ-യെ മുഴുവന് സൈറ്റില് നിന്നും തടയും. മറ്റു സഞ്ചികള് മറ്റു ZZZZZZZ ഭാഗങ്ങള്ക്ക് കീഴില് അല്ലെങ്കില് നിയമങ്ങള്ക്ക് കീഴില് User-agent: *.
ഒരു പ്രത്യേക crawler robots.txt അവഗണിച്ച് പ്രശ്നങ്ങൾ ഉണ്ടാക്കുമ്പോൾ
- സെര്വറില് ചില ഇഴകള് അമിതമായി ഭാരപ്പെടുത്തുമ്പോള്
- ഒരു പ്രത്യേക ഇഴയുന്നവന് ZZZZZ-ല് നിന്നും പ്രശ്നങ്ങള് ഉണ്ടാക്കുന്നു.
- ആ പ്രദേശത്ത് ഉപയോഗിക്കാത്ത തിരയല് എഞ്ചിന്സില് നിന്നും പ്രദേശ- പ്രത്യേക ഉള്ളടക്കം ഒളിപ്പിക്കാന് നിങ്ങള്ക്ക് ആഗ്രഹമുണ്ടെങ്കില്
ഈവയിലും ഇതുപോലുള്ള മറ്റു സാഹചര്യങ്ങളിലും User-agent directive ഉപകാരപ്രദമാണ്. പ്രധാന search engine crawlers-ന്റെ പേരുകൾ അതത് search engine-ുകളുടെ ഔദ്യോഗിക രേഖകളിൽ പരിശോധിക്കാം.
അദ്ധ്യായം 3: robots.txt-ലുള്ള ജാഗ്രതകളും സാധാരണ പിശകുകളും
robots.txt-യിലെ ഏറ്റവും ഗുരുതരമായ പിശക് പ്രധാനപ്പെട്ട പേജുകൾ crawl ചെയ്യുന്നതിൽ നിന്ന് തെറ്റായി തടയുന്നതാണ്.
ഉദാഹരണത്തിന് product pages അല്ലെങ്കിൽ service pages disallow ചെയ്താൽ, ആ പേജുകൾ search index-ിൽ നിന്ന് പുറത്തായി search result-കളിൽ നിന്ന് അപ്രത്യക്ഷമാകാം. അത് നേരിട്ട് website traffic കുറയ്ക്കുകയും SEO-യെ ഗൗരവമായി ബാധിക്കുകയും ചെയ്യും.
robots.txt മാറ്റുമ്പോൾ, ഉദ്ദേശിച്ച പേജുകൾ മാത്രം തടയപ്പെടുന്നുണ്ടോ എന്ന് ഉറപ്പാക്കാൻ എല്ലായ്പ്പോഴും Google Search Console-ലെ robots.txt testing tool ഉപയോഗിക്കുക. മാറ്റത്തിനു ശേഷം ranking-കളും traffic-വും തുടർച്ചയായി നിരീക്ഷിക്കുക, അതിലൂടെ ഉദ്ദേശിക്കാത്ത സ്വാധീനങ്ങൾ ഉടൻ കണ്ടെത്താൻ കഴിയും.
3.2 ബ്ലോക്ക് ചെയ്യേണ്ട പേജുകളിൽ Allow ഉപയോഗിക്കുന്ന പിശക്
ZZZZZZ മാറ്റുമ്പോള്, ZZZ1ZZ പരിശോധനാ ഉപകരണം എപ്പോഴും ZZZZZZZZZ- ല് ഉപയോഗിക്കുന്നു. നിര്ദ്ദേശിച്ച താളുകള് മാത്രമേ ബ്ലോക്ക് ചെയ്തിട്ടുള്ളു എന്നുറപ്പാക്കാന്. പരിവര്ത്തനം കഴിഞ്ഞാല്, ട്രാഫിക്റ്ററുകളും ട്രാഫിക്റ്റുകളും ക്രമത്തില് നിരീക്ഷിക്കുക. അങ്ങനെ നിങ്ങള്ക്കു് സജീവമായ പ്രഭാവങ്ങള് ലഭിക്കുന്നു.
Disallow ചെയ്തിട്ടില്ലാത്ത പ്രദേശത്ത് Allow മാത്രം ഉപയോഗിച്ചാൽ അതിന് ഫലമില്ല. Explicit ആയി Disallow നൽകിയിട്ടില്ലെങ്കിൽ എല്ലാ പേജുകളും ലഭ്യമാണെന്ന് crawlers സാധാരണയായി കരുതും.
ZZZZ നിര്ദ്ദേശം, ZZZZZZZZZZ-യ്ക്കൊപ്പം തടസ്സപ്പെടുത്തിയിരിക്കുന്ന സ്ഥലത്തിന്റെ ഭാഗത്തെ അനുവദിക്കണമെങ്കില് മാത്രം ഉപയോഗിക്കണം. ഉദാഹരണത്തിനു്, ZZZZZZZZZZZ-ല് മാത്രമേ അനുവദിക്കൂ. Disallow: /private/ പിന്നെ Allow: /private/public.html.
ZZZZ( zZZ) മാത്രം ഉപയോഗിക്കല് ഒഴിവാക്കാത്ത ഒരു പ്രദേശത്തിനു മാത്രമേ പ്രഭാവം പ്രാവര്ത്തികമാകൂ. ZZZZZZ- ല് ബ്ലോക്ക് ചെയ്യപ്പെടുന്നില്ലെങ്കില് ക്രോളര്കള് സാധാരണയായി എല്ലാ പേജും പ്രവര്ത്തിപ്പിയ്ക്കും.
robots.txt എഴുതുമ്പോൾ എല്ലായ്പ്പോഴും ശരിയായ capitalization ഉപയോഗിച്ച് typographical errors-കൾ ശ്രദ്ധാപൂർവം പരിശോധിക്കുക.
ZZZZ, ZZZZ, ZZZZZZ,ZZZZZZZZZZZZ,ZZZZZZZZZ,ZZZZZZZZ എന്നിവയെല്ലാം കേസ് മാന്ത്രിക മാര്ഗ്ഗങ്ങളാണു്. ഉദാഹരണമായി, അനുവദിക്കുക: ZZZZZZZZ മറ്റൊരു രീതിയില് ചികിത്സ നടത്തുന്നു. Disallow: /images/ അവര് ഒന്നും ഉദ്ദേശിച്ചു പ്രവര്ത്തിക്കാന് പോകുന്നില്ല.
Robots.txt Googlebot, Bingbot പോലുള്ള നല്ല ഉദ്ദേശമുള്ള crawlers-നൊപ്പം പ്രവർത്തിക്കും, പക്ഷേ ദുഷ്ട crawlers അതിനെ പൂർണ്ണമായി അവഗണിക്കാം. അതായത് robots.txt മാത്രം രഹസ്യ വിവരങ്ങൾ സംരക്ഷിക്കാൻ മതിയാകില്ല.
വാസ്തവത്തിൽ രഹസ്യമായ വിവരങ്ങൾ server-side authentication അല്ലെങ്കിൽ access restrictions വഴി സംരക്ഷിക്കണം. സഹകരിക്കുന്ന crawlers-ന്റെ ആക്സസ് നിയന്ത്രിക്കാനുള്ള ഒരു ഉപകരണം മാത്രമാണ് robots.txt എന്ന് മനസ്സിലാക്കണം; അത് ഒരു സുരക്ഷാ മാർഗമായി മാത്രം മതിയാകില്ല.
3.5 robots.txt മാത്രം സുരക്ഷ നൽകാൻ കഴിയില്ല
മുകളിൽ പറഞ്ഞതുപോലെ, robots.txt സുരക്ഷാ മാർഗമായി അപര്യാപ്തമാണ്. ആരും robots.txt ഫയലിന്റെ ഉള്ളടക്കം വായിക്കാം, അതിനാൽ ദുഷ്ട ഉപയോക്താക്കൾ അതിനെ നിയന്ത്രിത ഭാഗങ്ങൾ കണ്ടെത്താനുള്ള സൂചനയായി ഉപയോഗിക്കാം.
സത്യമായ സുരക്ഷയ്ക്ക് password protection, access control lists, firewall-ുകൾ എന്നിവ ഉൾപ്പെടുന്ന പല രീതികളും ചേർന്ന layered approach ആവശ്യമാണ്; robots.txt മാത്രം മതിയാകില്ല.
3.6 wildcard-ുകൾ അതിരുകടന്നാൽ ഉണ്ടാകുന്ന അനിയന്ത്രിത പെരുമാറ്റം
യഥാർഥ സുരക്ഷിതത്വത്തിന്, രഹസ്യ സംരക്ഷണം, കൺട്രോൾ പട്ടികകൾ, ഫയർവാൾസ് എന്നിവ ഉൾപ്പെടെയുള്ള അനവധി രീതികൾ ഉൾപ്പെടുത്തുന്ന ഒരു തരം സമീപനം ആവശ്യമാണ്.
Wildcard-ുകൾ ഉപയോഗിക്കുമ്പോൾ, അവയുടെ സ്വാധീനപരിധി ശ്രദ്ധാപൂർവം പരിശോധിക്കുക, unintended ആയി പേജുകൾ തടയുന്നില്ലെന്ന് ഉറപ്പാക്കുക.
ഉദാഹരണത്തിന്, നിങ്ങൾ ഒരിക്കലും ബ്ലോക്ക് ചെയ്തിട്ടില്ലാത്ത താളുകൾ ബ്ലോക്ക് ചെയ്തേക്കാം. Disallow: /*image* ZZ1ZZ ഡയറക്ടറി മാത്രമല്ല ZZZZZZZ പോലൊരു ZZZZZ കൂടി തടയും
Search engine-കൾ robots.txt cache ചെയ്യുന്നതിനാൽ മാറ്റങ്ങൾ എല്ലായ്പ്പോഴും ഉടൻ പ്രതിഫലിക്കണമെന്നില്ല. തിരുത്തിയ ഉടൻ testing tool-ൽ പരിശോധിച്ചാലും, ഫലം പഴയ version അടിസ്ഥാനമാക്കിയായിരിക്കാം.
Google Search Console-ൽ robots.txt tester വഴി robots.txt വീണ്ടും fetch ചെയ്യാൻ അഭ്യർത്ഥിക്കാം. ഇതിലൂടെ cache അപ്ഡേറ്റ് ആകുന്നതുവരെ കാത്തിരിക്കേണ്ട സമയം കുറയ്ക്കാനും മാറ്റങ്ങൾ വേഗത്തിൽ പ്രതിഫലിപ്പിക്കാനും കഴിയും.
ഈ ജാഗ്രതകൾ പാലിച്ച് robots.txt ശരിയായി ക്രമീകരിച്ചാൽ, നിങ്ങൾക്ക് SEO മെച്ചപ്പെടുത്താനും അനാവശ്യ അപകടങ്ങൾ ഒഴിവാക്കാനും കഴിയും.
അദ്ധ്യായം 4: robots.txt നിർമ്മാണ ഉപകരണങ്ങളും സ്ഥിരീകരണ മാർഗങ്ങളും
4.1 robots.txt നിർമ്മാണ ഉപകരണങ്ങൾ ഉപയോഗിക്കുക
robots.txt കൈയ്യാൽ എഴുതാം, പക്ഷേ online tools ഉപയോഗിച്ചാൽ വേഗവും കുറച്ച് പിശകുകളും മാത്രം ഉണ്ടായും അത് ചെയ്യാം. ആവശ്യമായ directives നൽകുന്നതോടെ ഈ ഉപകരണങ്ങൾ സ്വയമേവ robots.txt ഫയൽ സൃഷ്ടിക്കും, syntax പിശകുകളും rule പിശകുകളും കുറയ്ക്കാൻ ഇത് സഹായിക്കും.
Google Search Console robots.txt tester: Search Console-ൽ തന്നെ ഉള്ള ഒരു ഉപകരണം, robots.txt സൃഷ്ടിക്കാനും തിരുത്താനും പരീക്ഷിക്കാനും കഴിയും. നിങ്ങൾ ഇതിനകം Search Console ഉപയോഗിക്കുന്നുവെങ്കിൽ, ഇത് സാധാരണയായി ഏറ്റവും എളുപ്പമുള്ള തിരഞ്ഞെടുപ്പാണ്.
SEO checker tools: ചില SEO ഉപകരണങ്ങളിൽ robots.txt generation സൗകര്യവും ഉൾപ്പെടുന്നു. മറ്റു SEO ഫീച്ചറുകളോടൊപ്പം ഉപയോഗിക്കാനാകുന്നതിനാൽ, സൈറ്റ് വിശാലമായി optimize ചെയ്യുമ്പോൾ ഇത് ഉപകാരപ്പെടും.
മറ്റു online robots.txt generators: വെബിൽ robots.txt generator എന്ന് തിരഞ്ഞാൽ നിരവധി സൗജന്യ ഉപകരണങ്ങൾ കണ്ടെത്താം. ലളിതമായ robots.txt ഫയൽ സൃഷ്ടിക്കാൻ ഇവ അനുയോജ്യമാണ്.
4.2 Google Search Console-ൽ robots.txt പരീക്ഷിക്കുക
- ZZZZZZZrobots.txtZZZZZZZZZZZZed ടെസ്റ്റര്: ZZZZZZZZ ഉപകരണം നിര്മ്മിക്കാനും ചിട്ടപ്പെടുത്താനും പരിശോധിയ്ക്കാനും, പരിശോധിക്കാനും സാധ്യമാകുന്ന ഒരു ഉപകരണം. നിങ്ങള് ZZZZZZZZZZ ഉപയോഗിയ്ക്കുകയാണെങ്കില്, ഇതു് പലപ്പോഴും എളുപ്പത്തില് തെരഞ്ഞെടുക്കാം.
- ZZZZZ ചെക്കര് പണിയായുധങ്ങള്: ചില ZZZZZ ഉപകരണങ്ങള് robots.txtZZZZ വിന്യാസ ശൈലികള്. മറ്റു ZZZZZZZZZZZZ വിന്യാസ ക്രിയകളോടൊപ്പം ഉപയോഗിക്കുവാന് കഴിയും, കാരണം അവ കൂടുതല് വ്യാപ്തിയുള്ള ഒരു സൈറ്റ് ആവൃത്തികള് ആവര്ത്തിക്കുമ്പോള് അവക്ക് എളുപ്പമാണ്.
- മറ്റ് ഓണ്ലൈന് ZZZZZZZ വിന്യാസകര്: ZZZZZ വിന്റര് എന്ന വെബ് തെരയുകയാണെങ്കില്, നിങ്ങള്ക്കു് പല സ്വതന്ത്ര ഉപകരണങ്ങളും ലഭ്യമാകുന്നു. ലളിതമായ ZZZZZZZZ ഫയല് നിര്മ്മിക്കാന് ഇവ അനുയോജ്യമാണ്.
ഏതു ഉപകരണമാണ് നിങ്ങളുടെ ആവശ്യങ്ങളെയും വെബ്സൈറ്റുകളുടെ വലിപ്പത്തെയും ആശ്രയിച്ചിരിക്കുന്നത്?
ZZZZZZZZZZZZ- ല് 4. 2 പരിശോധന
നിങ്ങള് ZZZZZZZZ- നിര്മ്മിച്ചാല്, അതു് ശരിയായി വ്യാഖ്യാനിക്കുന്നതിനെ പരിശോധിക്കണം. ZZZZZZZZZZZZZed ഒരു പ്രത്യേക ZZZZZZ പരിശോധന ഉപകരണം നല്കുന്നു. ഒരു നിശ്ചിത ZZ3ZZZZZZ is anവോ അതോ ഫയലില് തെറ്റുകള് ഉണ്ടോയെന്നു് ഇതു് കാണിക്കും.
ടെസ്റ്റിന്റെ പ്രവര്ത്തനം അടുത്തത് പോലെയാണ്.
- ZZZZZ ല് തുറക്കുക പിന്നെ ലക്ഷ്യത്തിന്റെ വെബ്സൈറ്റിനുള്ള ഗുണവിശേഷം തെരഞ്ഞെടുക്കുക.
- ഇടത് വശത്തുള്ള മെനുവില് നിന്നും ZZZZZZed tester തെരഞ്ഞെടുക്കുക.
- നിങ്ങള്ക്കു് പരീക്ഷിക്കുവാനുള്ള ZZZZZE നല്കുക. ടെസ്റ്റ് ബട്ടണില് ഞൊട്ടുക.
- ZZZZZ കൺവെൻഷൻ നടത്താൻ പറ്റുമോ എന്നും ആ നിർദ്ദേശം പ്രാവർത്തികമാക്കപ്പെടുന്നുണ്ടോ എന്നും പരിശോധിക്കുക.
നിങ്ങള് ZZZZZZ മാറ്റുമ്പോഴെല്ലാം, ഈ ഉപകരണം ഉപയോഗിച്ച് ഫയല് നിര്ദ്ദേശിച്ചതുപോലെ പ്രവര്ത്തിക്കുന്നുണ്ടെന്ന് ഉറപ്പാക്കുക.
4.3 പുനരവലോകനം, ക്രമീകരിക്കല്
ZZZZ ഒരു വെബ്സൈറ്റിന്റെ റൂട്ട് ഡയറക്റ്ററിയിലാണു്. നിങ്ങള്ക്കു് അതു ബ്രൌസറില് നേരിട്ട് തുറക്കുക, അതിന്റെ ഉള്ളടക്കം പരിശോധിച്ച് പുതുക്കുക, ആവശ്യമുണ്ടെങ്കില് പുതുക്കുക. ഉദാഹരണമായി, ZZZZZZZZZZZZZZZZZZZ- ല് ലഭ്യമാക്കുന്നു.
മാറ്റങ്ങള് വരുത്തുമ്പോള്, ടെക്സ്റ്റ് എഡിറ്ററില് ZZZZZZ തുറക്കുമ്പോള്, ആവശ്യമുളള മാറ്റങ്ങള് വരുത്തി സര്വറിലേക്ക് അപ്ലോഡ് ചെയ്യുക. എന്ജിന്സിന് കാഷ് ലഘൂകരിക്കണമെങ്കില്, മാറ്റങ്ങള് പ്രതിഫലിപ്പിക്കുന്നതിന് കുറച്ചു സമയം വേണ്ടിവരും.
ZZZZZZ ടെസ്റ്റര്, ZZZ1Z1ZZ-ല് നിങ്ങള് ചിട്ടപ്പെടുത്താനും പരിശോധിക്കാനും ഒരേസമയത്ത് തന്നെ അനുവദിക്കുന്നു. അങ്ങനെ തിരുത്തലുകളെയും പരിശോധിക്കുന്നതും എളുപ്പമാക്കുന്നു.
ഈ പടികള് തുടര്ന്നാല്, നിങ്ങള്ക്ക് ZZZZZ-യെ ഒരു പ്രത്യേക അവസ്ഥയില് സൂക്ഷിക്കാനും ZZZZZZ, ZZZ1ZZ, സൈറ്റില് പ്രവര്ത്തനം മെച്ചപ്പെടുത്താനും കഴിയും.
അദ്ധ്യായം 5: ZZZZZ-നപ്പുറം ക്രോളര് നിയന്ത്രണം
മെറ്റാ റോബോട്ടുകള് ടാഗില് നിന്നും ഓരോന്നും ഉപയോഗിയ്ക്കേണ്ട രീതിയില് നിന്നും വ്യത്യാസങ്ങള്
മെറ്റാ റോബോട്ടുകള് ഒരേ താളില് വരണ്ടവയെ നിയന്ത്രിക്കാന് ഉപയോഗിക്കുന്നു. ZZZZZZZZZ-നോടൊപ്പം ഉപയോഗിക്കുമ്പോള്, അതു് നല്ല നിയന്ത്രണം സജ്ജമാക്കുന്നു. തിരച്ചില് എഞ്ചിനുകള്ക്ക് താള് സൂചികയില് ലഭ്യമല്ല. ZZZZZZZZZZZ ല് ചേര്ക്കുന്നു എങ്കില്, robots.txt-ല് നിന്നും നിരോധിച്ചിട്ടുള്ള ഒരു താള് നീക്കം ചെയ്യുവാന് സാധിക്കുന്നു. ചില കേസുകളില് നിന്നും ഇതു് ഇന്സ്റ്റാള്ഡില് നിന്നും ഇന്സ്റ്റാള് ചെയ്യപ്പെടുന്ന ഒരു താള് നീക്കാവുന്നതാണ്.
ZZZZZZ and ZZ1ZZZ- ഉം കൂടെ അതുപയോഗിക്കുന്നു
ZZZZZZ, set പോലുള്ള കോമകൊണ്ട് വേര്തിരിക്കുന്ന അനവധി വഴികള് നിങ്ങള്ക്ക് വ്യക്തമാക്കാം.
ZZZZZZHTTPZZZZZZez ഹെഡറ് വഴി നിയന്ത്രണം
ZZZZZ-ഇല് ZZZZ-ഉപയോഗിയ്ക്കുന്നതു്, HTTP മറുപടിയുടെ തലക്കെട്ടില് ഉപയോഗിക്കുന്നതിലൂടെ, ZZZZZZZZZZZZZZ അല്ലെങ്കില് ഇമേജുകള്ക്കും ചിത്രങ്ങള്ക്കും വേണ്ടി നിങ്ങള്ക്ക് ഇഴയാന് സാധിക്കുന്നു. ഇതിനു് സര്വറിന്റെ സൈറ്റ് ക്രമീകരണവും ആവശ്യമുണ്ട്.
സാരാംശം
റോബോട്ടുകള്. ZZZZZ-നും വെബ്സൈറ്റുകളുടെ പ്രവര്ത്തനത്തിനുമുള്ള ഒരു അതിപ്രധാന ഉപകരണമാണ്.
ഈ ലേഖനത്തില് അടങ്ങിയിരിക്കുന്ന പോയിന്റുകള് മനസ്സിലാക്കുകയും ZZ02ZZ ശരിയായി ക്രമീകരിക്കുകയും ചെയ്യുമ്പോള്, നിങ്ങള്ക്ക് നിങ്ങളുടെ വെബ്സൈറ്റിന്റെ പൂര്ണ്ണ സാദ്ധ്യത പുറത്തെടുക്കാം. ഇപ്പോള് തന്നെ തുടരുന്നതും ZZZZZZZZZZZZZZZZZZ- ല് ആവര്ത്തിക്കുന്നതും വളരെ പ്രധാനമാണ്.
അനുബന്ധങ്ങള്: ZZZZZZZZ ഉദാഹരണങ്ങള്,മുഴുവന്മാര് ഉള്പ്പെടെ
- ZZZZ ഒരു പ്രത്യേക ഇനത്തിന് ചില തരത്തിലുള്ള ഫയലുകള് മാത്രം:
User-agent: Googlebot-Image Allow: /images/*.jpg Allow: /images/*.png Disallow: / User-agent: * Disallow: /images/
- ഒരു പ്രത്യേക ഇഴയല് കിട്ടാന് വേഗത കുറയ്ക്കുക:
User-agent: AhrefsBot Crawl-delay: 10 User-agent: * Allow: /
നിങ്ങളുടെ വെബ്സൈറ്റിനെ അപഗ്രഥിച്ച് വിജയത്തിലേക്കു മാറ്റാൻ ഈ പുതിയ രീതികൾ ഉപയോഗിക്കുക.