robots.txt जेनरेटर (टेम्पलेट बनाने के लिए Allow/Disallow चुनें)
robots.txt टेम्पलेट तेज़ी से बनाने के लिए Allow/Disallow नियम चुनें। यह robots.txt जेनरेटर क्रॉलर ब्लॉक सेटिंग्स को सुव्यवस्थित करता है।
इसका लक्ष्य क्रॉल नियंत्रण (crawl control) है। यह रैंकिंग में सुधार की गारंटी नहीं देता है।
robots.txt टेम्पलेट जेनरेटर
robots.txt के रूप में पेस्ट करने के लिए तैयार।अपने लक्ष्य के सबसे करीब वाले टेम्पलेट से शुरू करें।
साइटमैप पंक्तियाँ जोड़ें
कई पंक्तियों की अनुमति है। प्रत्येक वैध URL एक Sitemap: पंक्ति बन जाता है।
पूर्वावलोकन
विकल्प
उन्नत
आवश्यकता होने पर खोलें
robots.txt का उपयोग कैसे करें
एक User-agent चुनें और नियम पंक्तियाँ जोड़ें।
आप कई साइटमैप URL जोड़ सकते हैं।
परिणाम कॉपी करें और इसे /robots.txt के रूप में सहेजें।
उदाहरण
सब कुछ अनुमति दें और एक साइटमैप जोड़ें।
User-agent: * Disallow: Sitemap: https://example.com/sitemap.xml
केवल एडमिन क्षेत्र को अनुमति न दें।
User-agent: * Disallow: /admin/
खतरनाक, केवल गैर-प्रोडक्शन के लिए।
User-agent: * Disallow: /
robots.txt क्या कर सकता है
- • robots.txt क्रॉल नियंत्रण के लिए है।
- • इंडेक्स नियंत्रण अलग है और इसके लिए noindex की आवश्यकता हो सकती है।
सामान्य प्रश्न
क्या इससे SEO में सुधार होगा?
robots.txt का उद्देश्य क्रॉल नियंत्रण है और यह रैंकिंग में सुधार की गारंटी नहीं देता है। इसका उपयोग अनावश्यक क्रॉल को कम करने और वर्जित क्षेत्रों को स्पष्ट करने के लिए करें।
क्या Disallow: / खतरनाक है?
हाँ। Disallow: / पूरी साइट को ब्लॉक कर देता है। इसे प्रोडक्शन पर लागू करने से गंभीर प्रभाव पड़ सकता है। यह उपकरण एक कड़ी चेतावनी दिखाता है और कॉपी करने से पहले पुष्टि की आवश्यकता होती है।
क्या मैं साइटमैप पंक्तियाँ जोड़ सकता हूँ?
हाँ। साइटमैप फ़ील्ड में URL जोड़ें और टूल Sitemap: ... पंक्तियाँ आउटपुट करता है (कई URL समर्थित हैं)।