Stärk SEO med robots.txt: förbättra sajtens prestanda med smartare crawlerstyrning
Styrning av crawlers spelar en viktig roll för både SEO och webbplatsens prestanda. Sökmotorrobotar rör sig genom en webbplats och samlar information så att de kan hämta de data som behövs för att visa sidor i sökresultaten. Genom att styra crawlerbeteendet på rätt sätt kan du förbättra SEO-resultaten och sajtens prestanda.
Det centrala verktyget för detta är robots.txt. Den här artikeln förklarar robots.txt på djupet, från grunderna till praktisk användning, försiktighetspunkter och avancerade tekniker, så att du verkligen blir skicklig på att använda det.
Kapitel 1: Grunderna i robots.txt
Vad är robots.txt? Så fungerar crawlerstyrning
robots.txt är en vanlig textfil som placeras i en webbplats rotkatalog. Den talar om för crawlers vilka delar av sajten de får genomsöka och vilka delar de inte får genomsöka.
När en crawler besöker en webbplats läser den vanligtvis robots.txt först och genomsöker sedan sajten enligt de instruktionerna. Robots.txt är en begäran till crawlers, inte en hård blockering, men stora sökmotorer respekterar den. Eftersom illvilliga crawlers och vissa andra botar kan ignorera robots.txt ska du dock aldrig förlita dig enbart på den för att skydda konfidentiell information.
Var robots.txt ska placeras, filformat och teckenuppsättning
robots.txt måste placeras i webbplatsens rotkatalog, till exempel https://example.com/robots.txt.
Den fungerar inte om du lägger den i en underkatalog. Filnamnet måste också vara robots.txt med gemener.
Filformatet måste vara ren text, och UTF-8-kodning rekommenderas starkt. Om du använder en annan kodning kan crawlers misslyckas med att tolka filen korrekt.
Grundläggande syntax: User-agent, Disallow, Allow och regeldetaljer
robots.txt skrivs med direktiv som User-agent, Disallow och Allow. Dessa direktiv är skiftlägeskänsliga och skrivs en rad per direktiv.
User-agent:
Anger vilken crawler en regel gäller för. Du kan ange en specifik crawler eller använda * för alla crawlers. Genom att deklarera flera User-agent-rader kan du definiera olika regler för olika crawlers. Exempel:
User-agent: Googlebot,
User-agent: Bingbot,
User-agent: *.
Disallow:
Anger en sökväg som inte får genomsökas. Den skrivs som en relativ sökväg som börjar med ett snedstreck. En tom Disallow-rad betyder att allt är tillåtet. Exempel:
Disallow: /private/,
Disallow:.
Allow:
Anger en sökväg som får genomsökas. Den används när du vill tillåta en del av en plats som har blockerats med Disallow. En Allow-regel går före Disallow i det fallet. Exempel:
Disallow: /private/och
Allow: /private/public.html.
Hur du använder jokertecken (*) och ($): flexibel sökvägsmatchning och avancerad användning
Asterisken matchar valfri teckensträng. Till exempel blockerar Disallow: /*.pdf varje PDF-fil, och Disallow: /images/*.jpg$ blockerar endast JPG-filer under katalogen /images/.
Dollartecknet matchar slutet av en rad. Till exempel blockerar Disallow: /blog/$ åtkomsten till själva katalogen /blog/ samtidigt som adresser som /blog/article1/ fortfarande är tillåtna.
Ställa in Crawl-delay: minska serverbelastningen och dess effekt på Googlebot
Med direktivet Crawl-delay kan du ange intervallet mellan crawlerförfrågningar i sekunder. Det kan hjälpa när serverbelastningen är hög, men Googlebot stöder inte Crawl-delay officiellt. Google rekommenderade tidigare inställningar för crawl-hastighet i Search Console, men hanterar nu detta automatiskt, så det kräver vanligtvis inte så mycket uppmärksamhet.
Eftersom Google har förbättrat sin automatiska justering av crawl-hastighet, och som en del av ett bredare arbete med att förenkla användarupplevelsen, avslutar Google stödet för verktyget för begränsning av crawl-hastighet i Search Console.
Planerat slut för stödet för verktyget för begränsning av crawl-hastighet i Search Console
Det kan fortfarande ha effekt på andra crawlers.
Ange Sitemap: vägled crawlers och hantera flera sitemap-filer
Du kan ange sitemap-URL:er med direktivet Sitemap. Det hjälper crawlers att lättare förstå webbplatsens struktur och förbättrar crawl-effektiviteten. Du kan också ange flera sitemaps. Exempel: Sitemap: https://example.com/sitemap.xml och Sitemap: https://example.com/sitemap_images.xml.
★
Ge SEO en boost: bygg en Google-vänlig sajtstruktur med sitemap.xml
Kapitel 2: Praktiska exempel på robots.txt
Skydda sidor som kräver inloggning: Disallow: /member/
Innehåll som kräver inloggning, såsom sidor för medlemmar, bör i allmänhet uteslutas från sökindexering.
Genom att använda robots.txt kan du hindra crawlers från att komma åt dessa sidor och minska onödig crawling. Om innehåll för medlemmar till exempel ligger under /member/ blockerar Disallow: /member/ åtkomst till varje fil och underkatalog på den platsen.
Men robots.txt är bara en begäran till crawlers, så illvilliga crawlers kan ignorera den.
Verkligt känslig information måste skyddas med serverbaserad autentisering i stället för robots.txt. Robots.txt bör ses som en stödmetod för att begränsa crawleråtkomst och spara serverresurser. I många fall är det lämpligt att tillåta åtkomst till själva inloggningssidan så att crawlers förstår att autentisering krävs.
Styrning av parameteriserade URL:er: Disallow: /*?page=*
Parameteriserade URL:er kan ibland göra samma innehåll tillgängligt under flera URL:er, vilket kan behandlas som duplicerat innehåll. Om du till exempel använder parametern ?page= för paginering kan du få sidor som example.com/blog?page=1 och example.com/blog?page=2 som har olika URL:er men nästan samma innehåll.
Genom att skriva Disallow: /*?page=* kan du blockera åtkomst till varje URL som innehåller parametern page=. Det kan dock ta bort allt paginerat innehåll från sökmotorer och skada SEO.
Ett bättre tillvägagångssätt är att använda en canonical-tagg och ange den kanoniska URL:en. Om varje paginerad sida pekar på den första sidan, till exempel example.com/blog, med en canonical-tagg, kan du undvika problem med duplicerat innehåll och kommunicera rätt sida till sökmotorerna.
Att använda robots.txt för att styra paginering bör ses som en sista utväg när det inte är möjligt att implementera canonical-taggning.
Styrning av en specifik crawler: User-agent: YandexBot Disallow: /
Med direktivet User-agent kan du ange olika regler för olika crawlers. Om du skriver User-agent: YandexBot och sedan Disallow: / blockeras bara YandexBot från hela webbplatsen. Andra crawlers följer reglerna under andra User-agent-sektioner, eller reglerna under User-agent: *.
Typiska fall där du kan vilja styra en specifik crawler är följande.
När en specifik crawler belastar servern för hårt
När en specifik crawler ignorerar robots.txt och orsakar problem
När du vill dölja regionspecifikt innehåll för crawlers från sökmotorer som inte används i den regionen
I dessa och liknande fall är direktivet User-agent användbart. Namnen på de största sökmotorernas crawlers kan bekräftas i respektive sökmotors officiella dokumentation.
Kapitel 3: Försiktighetspunkter och vanliga misstag i robots.txt
robots.txt är ett kraftfullt verktyg, men felaktiga inställningar kan få allvarliga konsekvenser för en webbplats. Det här kapitlet förklarar vanliga misstag och försiktighetspunkter så att du kan använda robots.txt säkert och effektivt.
3.1 SEO-skador av misstag i robots.txt: att falla ur sökresultaten
Det allvarligaste misstaget i robots.txt är att av misstag blockera viktiga sidor från genomsökning.
Om du till exempel blockerar produktsidor eller servicesidor kan de sidorna falla ur sökindexet och försvinna från sökresultaten. Det minskar direkt webbplatstrafiken och kan allvarligt skada SEO.
Varje gång du ändrar robots.txt ska du alltid använda testverktyget för robots.txt i Google Search Console för att bekräfta att endast de avsedda sidorna blockeras. Fortsätt efter ändringen att regelbundet övervaka ranking och trafik så att du fångar upp eventuella oavsiktliga effekter.
3.2 Misstaget att använda Allow för sidor du tänkte blockera
Allow-direktivet ska bara användas när du vill tillåta en del av en plats som har blockerats med Disallow. Om du till exempel vill blockera /private/ men bara tillåta /private/public.html använder du både Disallow: /private/ och Allow: /private/public.html.
Att använda Allow ensamt för ett område som inte har blockerats med Disallow har ingen effekt. Crawlers utgår i allmänhet från att varje sida är åtkomlig om den inte uttryckligen har blockerats med Disallow.
3.3 Skiftlägeskänslighet: var extra uppmärksam
User-agent, Disallow, Allow och URL-sökvägar är alla skiftlägeskänsliga. Till exempel behandlas disallow: /images/ annorlunda än Disallow: /images/ och fungerar därför inte som avsett.
När du skriver robots.txt ska du alltid använda rätt versaler och noggrant kontrollera eventuella skrivfel.
3.4 Skillnader i crawlerbeteende: så hanterar du illvilliga crawlers
robots.txt fungerar tillsammans med crawlers i god tro som Googlebot och Bingbot, men illvilliga crawlers kan ignorera den helt. Det betyder att robots.txt ensam inte kan skydda känslig information.
Information som verkligen är konfidentiell måste skyddas med serverbaserad autentisering eller åtkomstbegränsningar. Du måste förstå att robots.txt bara är ett verktyg för att styra samarbetsvilliga crawlers och inte räcker som säkerhetsåtgärd.
3.5 Robots.txt kan inte ge säkerhet på egen hand
Som nämnt ovan är robots.txt otillräckligt som säkerhetsåtgärd. Vem som helst kan läsa innehållet i en robots.txt-fil, så illvilliga användare kan använda den som ledtråd för att hitta begränsade områden.
Verklig säkerhet kräver en lager-på-lager-metod som kombinerar flera metoder, inklusive lösenordsskydd, åtkomstkontrollistor och brandväggar, inte bara robots.txt.
3.6 Oväntat beteende när jokertecken används för mycket
Jokertecken som * och $ gör sökvägsmatchning mer flexibel, men om du använder dem för mycket kan de blockera sidor du aldrig tänkte blockera. Till exempel skulle Disallow: /*image* inte bara blockera katalogen /images/ utan också en URL som /article/my-image.jpg.
När du använder jokertecken ska du noggrant kontrollera deras fulla effekt och se till att du inte blockerar sidor oavsiktligt.
3.7 Cachelagring av robots.txt: fördröjningar innan ändringar slår igenom
Sökmotorer cachelagrar robots.txt, så ändringar slår inte alltid igenom direkt. Även om du kontrollerar med ett testverktyg direkt efter att du har redigerat den kan resultatet fortfarande baseras på den tidigare versionen.
I Google Search Console kan du begära att robots.txt hämtas igen via robots.txt-testaren. Det kan förkorta fördröjningen innan cachen uppdateras och dina ändringar slår igenom.
Genom att följa dessa försiktighetspunkter och konfigurera robots.txt korrekt kan du förbättra SEO och undvika onödig risk.
Kapitel 4: verktyg för att skapa robots.txt och metoder för verifiering
Det här kapitlet förklarar hur du skapar, testar och reviderar robots.txt effektivt. Genom att följa dessa steg kan du förhindra oavsiktliga misstag och maximera webbplatsens prestanda.
4.1 Använda verktyg för att skapa robots.txt
Du kan skriva robots.txt manuellt, men onlineverktyg låter dig göra det snabbare och med färre misstag. Dessa verktyg genererar automatiskt en robots.txt-fil när du anger de nödvändiga direktiven, vilket hjälper till att minska syntaxfel och regelmisstag.
Exempel på verktyg är följande.
Google Search Console robots.txt-testare:
Ett inbyggt verktyg i Search Console som kan skapa, redigera och testa robots.txt. Om du redan använder Search Console är detta ofta det enklaste valet.
SEO-kontrollverktyg:
Vissa SEO-verktyg innehåller funktioner för att generera robots.txt. Eftersom de kan användas tillsammans med andra SEO-funktioner är de praktiska när du optimerar en webbplats mer brett.
Andra onlinegeneratorer för robots.txt:
Om du söker på webben efter robots.txt-generator hittar du många gratisverktyg. De lämpar sig för att skapa en enkel robots.txt-fil.
Vilket verktyg som är bäst beror på dina behov och webbplatsens storlek.
4.2 Testa robots.txt i Google Search Console
När du har skapat robots.txt måste du testa den för att kontrollera att crawlers tolkar den korrekt. Google Search Console erbjuder ett testverktyg för robots.txt som kan visa om en specifik URL kan genomsökas och om det finns några fel i filen.
Testprocessen är följande.
Öppna Google Search Console och välj egendomen för målwebbplatsen.
Välj robots.txt-testaren i menyn till vänster.
Ange URL:en du vill testa och klicka på knappen Testa.
Kontrollera om URL:en kan genomsökas och vilket direktiv som tillämpas.
När du ändrar robots.txt ska du använda det här verktyget och bekräfta att filen fungerar exakt som avsett.
4.3 Granska och rätta robots.txt
Eftersom robots.txt placeras i webbplatsens rotkatalog kan du öppna den direkt i en webbläsare, granska innehållet och revidera den vid behov. Om du till exempel går till https://example.com/robots.txt visas filen.
När du gör korrigeringar öppnar du robots.txt i en textredigerare, gör de nödvändiga ändringarna och laddar upp den till servern. Eftersom sökmotorer behöver uppdatera sin cache kan det ta lite tid innan ändringarna slår igenom.
Robots.txt-testaren i Google Search Console låter dig redigera och testa samtidigt, vilket gör det enklare att iterera mellan korrigeringar och verifiering.
Genom att följa dessa steg kan du hålla robots.txt i optimalt skick och förbättra både SEO och sajtens prestanda.
Kapitel 5: crawlerstyrning utöver robots.txt
Skillnader jämfört med meta robots-taggen och hur du använder dem
Meta robots-taggen används för att styra crawlers på individuell sidnivå. När den används tillsammans med robots.txt ger den finare kontroll. Noindex instruerar sökmotorer att inte indexera en sida, och nofollow instruerar dem att inte följa länkar. Om du lägger till noindex på en sida som också har blockerats från crawling med robots.txt kan det i vissa fall hjälpa till att ta bort en redan indexerad sida från sökresultaten.
Använda den tillsammans med noindex och nofollow
Du kan ange flera direktiv separerade med kommatecken, till exempel noindex,follow.
Styrning via HTTP-huvudet X-Robots-Tag
Genom att använda X-Robots-Tag i HTTP-svarshuvudet kan du styra crawling även för icke-HTML-filer som PDF-filer och bilder. Detta kräver serverkonfiguration.
Sammanfattning
Robots.txt är ett oumbärligt verktyg för både SEO och webbplatsens prestanda.
När du förstår punkterna i den här artikeln och konfigurerar robots.txt korrekt kan du frigöra hela webbplatsens potential. Det är viktigt att hålla sig uppdaterad och fortsätta optimera robots.txt över tid.
Bilaga: exempel på robots.txt, inklusive avancerade
Tillåt endast vissa filtyper för en specifik crawler:
User-agent: Googlebot-Image Allow: /images/*.jpg Allow: /images/*.png Disallow: / User-agent: * Disallow: /images/
Sakta ner åtkomsten för en specifik crawler:
User-agent: AhrefsBot Crawl-delay: 10 User-agent: * Allow: /
Använd dessa avancerade mönster för att optimera din webbplats och föra den mot framgång.