מחולל robots.txt (בחר Allow/Disallow לבניית תבנית)
בחר כללי Allow/Disallow ליצירת תבנית robots.txt במהירות. מחולל זה מפשט את הגדרות חסימת הקולרים.
המטרה היא שליטה בסריקה. זה לא מבטיח שיפור בדירוגים.
מחולל תבנית robots.txt
מוכן להדבקה כ-robots.txt.התחל מתבנית הקרובה ביותר למטרה שלך.
הוסף שורות Sitemap
ניתן להוסיף מספר שורות. כל URL תקין הופך לשורת Sitemap:.
תצוגה מקדימה
אפשרויות
מתקדם
פתח בעת הצורך
איך להשתמש ב-robots.txt
בחר User-agent והוסף שורות כללים.
ניתן להוסיף מספר כתובות sitemap.
העתק את התוצאה ושמור אותה כ-robots.txt/.
דוגמאות
אפשר הכל והוסף sitemap.
User-agent: * Disallow: Sitemap: https://example.com/sitemap.xml
חסום רק את אזור הניהול.
User-agent: * Disallow: /admin/
מסוכן, עבור סביבות שאינן ייצור בלבד.
User-agent: * Disallow: /
מה robots.txt יכול לעשות
- • robots.txt נועד לשליטה בסריקה (crawl).
- • שליטה באינדוקס היא נפרדת ועשויה לדרוש noindex.
שאלות נפוצות
האם זה ישפר את ה-SEO?
המטרה של robots.txt היא שליטה בסריקה והוא אינו מבטיח שיפור בדירוגים. השתמש בו כדי לצמצם סריקה מיותרת ולהבהיר אזורים מחוץ לתחום.
האם Disallow: / מסוכן?
כן. Disallow: / חוסם את האתר כולו. החלתו על אתר בייצור יכולה להיות בעלת השפעה חמורה. כלי זה מציג אזהרה חזקה ודורש אישור לפני ההעתקה.
האם ניתן להוסיף שורות sitemap?
כן. הוסף כתובות URL בשדה ה-Sitemap והכלי יוציא שורות ... :Sitemap (נתמכות מספר כתובות).