عزّز SEO باستخدام robots.txt: تحكّم أذكى في الزواحف لتحسين أداء الموقع
يلعب التحكم في الزواحف دورًا مهمًا في كل من SEO وأداء الموقع. فعندما تتحرك الزواحف داخل الموقع لجمع المعلومات، يمكنك توجيهها بذكاء حتى تركز على الصفحات المهمة وتخفف العبء غير الضروري.
الأداة الأساسية لذلك هي robots.txt. يشرح هذا المقال الملف من الأساسيات إلى الاستخدام العملي، مع نقاط الانتباه والأخطاء الشائعة وطرق التحقق حتى تتمكن من استخدامه بثقة.
robots.txt هو ملف نصي عادي يوضع في جذر الموقع. وظيفته أن يخبر الزواحف بما يمكنها زيارته وما يجب عليها تجنبه.
ماذا؟ كيف يمكن لـ (كيب) أن يتحكم
الفصل 2: أمثلة عملية على robots.txt
عندما يُدخل موقع إلكتروني على شبكة الإنترنت، عادة ما يُقرأ: الروبوتات هي طلباً لـ... ولكن لأن الخبيثة KEEP crawl ers and some other bots may ignore KEEP KEEP robots .txt , you should never rely on it alone to protect confidential information.
الفصل 3: التحذيرات والأخطاء الشائعة
يجب وضع الروبوتات في الدليل الجذري للموقع، مثل KEEP URL 0
الفصل 4: أدوات الإنشاء وطرق التحقق
ويجب أن يكون شكل الملف نصاً واضحاً، ويوصى بشدة بتزيين فرقة العمل الثماني. إذا كنت تستخدم تشفير آخر، KEEP crawl ers قد تفشل في تفسير الملف بشكل صحيح.
الفصل 5: التحكم في الزواحف بما يتجاوز robots.txt
الروبوتات مكتوبة بتوجيهات مثل وهذه التوجيهات حساسة من حيث الحالة، وهي مكتوبة على كل خط.
KEEP User-agent
يحدد أي قاعدة تنطبق عليه. يمكنك أن تُسمّي "كيب" خاصّة... يمكنك تحديد قواعد مختلفة لمختلف أمثلة:
KEEP User-agent KEEP Googlebot..
KEEP User-agent KEEP Bingbot..
KEEP User-agent.
KEEP Disallow
يحدد مساراً لا يجب أن يكون إنها مكتوبة كطريق نسبي يبدأ بضربة الخط الفارغ يعني أن كل شيء مسموح به أمثلة:
KEEP Disallow :..
KEEP Disallow.
KEEP Allow
يحدد مساراً قد يكون... يستخدم عندما تريد السماح لجزء من موقع تم حجبه بـ القاعدة تعطى الأسبقية على مثال:
KEEP Disallow :و
KEEP Allow : /private/public.html.
robots.txt ليس مجرد ملف تقني، بل أداة عملية لتنظيم الزحف وتحسين أداء الموقع وحماية الميزانية المخصصة للزواحف. عندما يُستخدم بحكمة، يصبح جزءًا أساسيًا من SEO الجيد.
النجم يطابق أي خيط شخصي على سبيل المثال،KEEP Disallow : /*.pdfيحجب كل ملف من ملفات PDF،KEEP Disallow : /images/*.jpg$لا تحجب سوى ملفات JPG تحت /الصور/الدليل.
علامة الدولار تطابق نهاية الخط على سبيل المثال،KEEP Disallow :: يحجب إمكانية الوصول إلى الدليل/المدونات في حد ذاته، ويسمح في الوقت نفسه بالعناوين من قبيل المدون/الجسيم/المادة 1.
وضع KEEP Crawl-delay : تخفيض حمولة الخواديم وأثرها على KEEP Googlebot
مع توجيه "كيو بي بي بي بي" في "كرامل" يمكنك تحديد الفترة الفاصلة بين الطلبات في ثواني هذا يمكن أن يساعد عندما يكون تحميل الخوادم مرتفعاً، لكن... Google previously recommended KEEP crawl -rate settings in search Console, but now handle this automatically, so it usually does not require much attention.
ونظراً لأن غوغل قد حسّنت تعديلها التلقائي - KEEP-crawl-------------------------------- - وتمشياً مع جهد أوسع نطاقاً لتبسيط تجربة المستخدمين، ينهي غوغل دعم أداة الحد الأقصى لمعدلات البحث كونسول.
النهاية المخططة لدعم أداة الحد الأقصى في البحث كونسول
قد يكون له تأثير على الآخرين
Secifying KEEP Sitemap : guiding KEEP crawl ers and handling multiple sitemaps
يمكنك تحديد خريطة الموقع وهذا يساعد KEEP crawl ers understand the structure of the website more easily and improves KEEP crawl efficiency. يمكنك أيضا تحديد مواقع متعددة أمثلة:BAR BAR BAR BAR BAR وBAR BAR BAR BAR BAR .
?
S-KEEP-SEO: Build a Google-Friendly Site Structure with sitemap.x
Chapter 2: Practical KEEP KEEP robots txt examples
Protecting login-required pages: KEEP Disallow : /member/
وينبغي عموما استبعاد المحتوى الذي يتطلب قطع الأشجار، مثل صفحات الأعضاء فقط، من محرك البحث KEEP indexing .
عن طريق استخدام KEEP KEEP robots txt ، يمكنك منع KEEP crawl ers من الوصول إلى هذه الصفحات والحد من الهدر KEEP crawl ing. على سبيل المثال، إذا كان محتوى الأعضاء فقط مخزنا تحت /العضو/الكتابة KEEP Disallow يمنع الوصول إلى كل ملف وكل توجيه فرعي تحت ذلك الموقع.
لكن KEEP KEEP robots txt هو فقط طلب KEEP crawl ers, so malicious KEEP crawl ers may ignore it.
ويجب حماية المعلومات الحساسة حقاً بتوثيق جانب الخادم بدلاً من حمايتها. وينبغي معاملة الروبوتات على أنها طريقة داعمة للحد من إمكانية الوصول إلى الخواديم وتوفير موارد الخواديم. In many cases, it is appropriate to allow access to the login page itself so that KEEP crawl ers can understand that authentication is required.
التحكم في البارمترات KEEP URL s: KEEP Disallow : /*؟
ويمكن أحياناً أن تجعل المحتوى نفسه متاحاً تحت مضامين متعددة يمكن معاملته على أنه محتوى مزدوج. على سبيل المثال، إذا كنت تستخدمالصفحةيمكن أن ينتهي بك المطاف بمصفوفات مثل المثالية (com/blog)؟ الصفحة 1 والمثال (com/blog)
الكتابة KEEP Disallow : /*؟يمكنك منع الوصول إلى كل مقياس غير أن هذا يمكن أن يزيل جميع المحتوى المهجور من محركات البحث وقد يضر KEEP SEO .
A better approach is to use a canonical tag and indicate the canonical KEEP URL . إذا كانت كل صفحة تمهيدا تشير إلى الصفحة الأولى، مثل البريد الإلكتروني/اللغة، مع علامة الكانتونية، يمكنك تجنب الازدواجية في القضايا وإبلاغ الصفحة الصحيحة لتفتيش المحركات.
وينبغي أن يُعامل استخدام KEEP KEEP robots txt لمراقبة الترميز كملاذ أخير عند تنفيذ البطاقات الكانتونية غير ممكن.
"مراقبة" "محدد"
مع تعليمات العميلة (أوزر) يمكنك وضع قواعد مختلفة إذا كتبت KEEP User-agent ثمKEEP Disallow فقط (ياندكس بوت) سيغلق من الموقع بأكمله Other KEEP crawl ers will follow rules set under other KEEP User-agent sections, or the rules under KEEP User-agent .
الحالات المثالية التي قد ترغبين في التحكم فيها
عندما تضعين حمولة زائدة على الخادم
عندما يتجاهل الـ " كي بي " المُحدّد
عندما تُريدُ إخْفاء المحتوىِ الخاصِ بالمنطقةِ مِنْ KEEP crawl محركاتِ البحثِ التي لا تَستعملُ في تلك المنطقةِ
In these and similar cases, the KEEP User-agent directive is useful. ويمكن تأكيد أسماء محرك البحث الرئيسي في كل وثيقة رسمية لمحرك البحث.
الفصل 3: الكوابيس والأخطاء المشتركة في KEEP KEEP robots txt
الروبوتات أداة قوية، لكن البيئات غير الصحيحة يمكن أن تكون لها عواقب خطيرة على موقع إلكتروني. هذا الفصل يشرح الأخطاء المشتركة ونقاط التحذير حتى تتمكن من استخدام KEEP KEEP
3-1 KEEP SEO damage from KEEP KEEP robots txt mistakes: falling out of search
الخطأ الأكثر خطورة في KEEP KEEP robots .txt
إذا رفضت صفحات المنتج أو صفحات الخدمة، على سبيل المثال، تلك الصفحات قد تخرج من مؤشر البحث وتختفي من نتائج البحث. وهذا يقلل مباشرة من حركة المرور على الموقع ويمكن أن يلحق ضرراً شديداً
كلما تغيرت، استخدم دائماً أداة الاختبار في (جوجل) للبحث بعد التغيير استمر في رصد الترتيبات و المرور بشكل منتظم حتى تتمكن من الإمساك بأي آثار غير مقصودة
3.2 The mistake of using KEEP Allow for pages you meant to block
يجب أن يُستخدم التوجيه فقط عندما تريد أن تسمح بجزء من موقع تم حجبه على سبيل المثال، إذا كنت تريد أن تحجب /الخاصة/ولكن تسمح فقط //الخاصة/العامة.html، كنت تستخدم كلا KEEP Disallow :و KEEP Allow : /private/public.html.
ليس له تأثير على استخدام "كيب" وحدها في منطقة لم تُعدم ويفترض الرعاة عموماً أن كل صفحة متاحة إلا إذا تم تقييدها صراحة بـ KEEP Disallow .
3-3 حساسية الحالات: إيلاء اهتمام وثيق
جميع الطرق حساسة على سبيل المثال،الرفض:/الرسوم/الرسوميعامل بطريقة مختلفة KEEP Disallow :/images/ولن تعمل كما هو مقصود.
عند كتابة KEEP KEEP robots txt ، دائما استخدام الرسملة الصحيحة والتحقق بعناية من الأخطاء الطاغية.
3.4 Differences in KEEP crawl er behavior: dealing with malicious KEEP crawl ers
الروبوتات تعمل مع حسن النية هذا يعني أنه لا يستطيع حماية المعلومات الحساسة
ويجب حماية المعلومات السرية حقا بتوثيق جانب الخادم أو تقييد الوصول إليه. تحتاج إلى فهم أن KEEP KEEP robots .txt هو فقط أداة للسيطرة على التعاونيات KEEP crawl ers و غير كافية كتدبير أمني.
3-5 الروبوتات وحدها لا يمكنها توفير الأمن
As noted above, KEEP KEEP robots txt is insufficient as a security measure. أي شخص يمكنه قراءة محتويات ملف (KEEP)
فالأمن الحقيقي يتطلب نهجاً مطبقاً يجمع بين أساليب متعددة، بما في ذلك حماية كلمة السر، وقوائم مراقبة الدخول، وجداول الحماية، وليس KEEP robots .txt لوحده.
3-6 السلوك غير المتوقع من استخدام البطاقات البرية المفرطة
البطاقات البرية مثل * و $ جعل الطريق المطابقة أكثر مرونة، ولكن الإفراط في استخدامها يمكن أن تحجب الصفحات التي لم تكن تقصد أن تحجبها. على سبيل المثال،KEEP Disallow : /*image*ولن يحجب فقط الرسوم/الرسوم/الدليل بل أيضاً الـ (KEEP URL ) مثل الجسيمات/الرسوم.
عند استخدام البطاقات البرية، تحقق كامل نطاق تأثيرها بعناية وتأكد من أنك لا تحجب الصفحات دون قصد.
3-7 KEEP KEEP robots txt caching: delays before changes are reflected
محركات البحث مخبأة لذا التغييرات لا تظهر دائماً على الفور حتى لو تحققت من أداة الإختبار بعد تحريرها ربما النتيجة ما زالت قائمة على النسخة السابقة
يمكنك أن تطلب أن تُحضر مرة أخرى من خلال جهاز الفحص هذا يمكن أن يقلل من التأخير قبل تحديث المخبأ وتظهر تغيراتك
بإتباع هذه التحذيرات والتشكيل KEEP KEEP robots txt بشكل صحيح، يمكنك تحسين KEEP SEO وتجنب المخاطر غير الضرورية.
Chapter 4: KEEP KEEP robots txt a creation tools and verification methods
ويشرح هذا الفصل كيفية إنشاء واختبار وتنقيح KEEP KEEP robots txt بكفاءة. وباتباع هذه الخطوات، يمكنك منع الأخطاء غير المقصودة وتعظيم أداء الموقع.
4-1 استخدام أدوات الإبداع
يمكنك الكتابة KEEP KEEP robots .txt يدويا، ولكن الأدوات الإلكترونية تتيح لك القيام بذلك بسرعة وبقليل من الأخطاء. هذه الأدوات تُولّدُ a KEEP KEEP robots txt ملف تلقائياً متى تُدخلُ التوجيهاتَ الضروريةَ، الذي يُساعدُ على الحدّ من الأخطاءِ الاصطناعيةِ وأخطاء القواعدِ.
وتشمل أدوات التمثيل ما يلي:
KEEP Google search Console KEEP KEEP robots txt
أداة بحث مصممة يمكن أن تخلق وتحرر وتختبر إذا كنت بالفعل تستخدم البحث كونسول، وهذا هو أكثر الخيارات سهولة.
أدوات الشيكات
ومن بين الأدوات التي تُستخدم في هذا المجال ما يلي: لأنها يمكن استخدامها إلى جانب مهام أخرى - كيبي - سو - هي - أنها ملائمة عندما تعظيم موقع على نطاق أوسع.
مولدات كهربائية:
إذا بحثتِ في الشبكة من أجل المولد ستجدين العديد من الأدوات المجانية هذه مناسبة لإنشاء ملف بسيط
أي أداة تعتمد على احتياجاتك وحجم الموقع
4-2 الاختبار KEEP KEEP robots txt KEEP
بمجرد أن تخلق... يجب أن تختبره للتحقق من أن... {\pos(190,210)}{\pos(190,210)}{\pos(190,210)}{\pos(190,210)}{\pos(190,210)}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\fnAdobe Arabic}{\
وفيما يلي عملية الاختبار.
افتحوا الموقع الشبكي المستهدف
اختر مُختبر قائمة الطعام على اليسار
أدخلي الـ " كي بي " تريدي أن تختبري وتضغطي زر الاختبار
Review whether the KEEP URL is KEEP crawl able and which directive is being applied.
عندما تتغيرين استخدمي هذه الأداة وتأكدي أن الملف يعمل كما هو مقصود
4.3 Reviewing and fixing KEEP KEEP robots txt
لأن KEEP KEEP robots txt وضعت في الدليل الجذري لموقع شبكي، يمكنك فتحه مباشرة في بروزر، واستعراض محتوياته، وتنقيحه إذا لزم الأمر. فعلى سبيل المثال، سيعرض الملف.
وعند إجراء التصويبات، يُفتح باب التسجيل (KEEP KEEP robots .txt ) في محرر للنص، ويُجري التغييرات اللازمة ويرفعها إلى الخادم. ولأن محركات البحث تحتاج إلى تجديد كوخها، قد يستغرق الأمر وقتاً قليلاً قبل أن تنعكس التغييرات.
rlm;"مُختبرات "جوجل فوك كونسول" rlm;
من خلال متابعة هذه الخطوات، يمكنك الاحتفاظ KEEP KEEP robots txt في حالة مثالية وتحسين كلا KEEP SEO
الفصل 5: السيطرة على الرعاة خارج KEEP KEEP robots txt
اختلافات من الميثا
الميثا KEEP robots tag is used to control KEEP crawl ers on an individual page basis. عندما تستخدم مع KEEP KEEP robots .txt ، فإنها تمكن من التحكم بشكل أفضل. لا توجد مؤشرات تدل على أن محركات البحث لا تقوم بفهرس صفحة، ولا يأمرها أحد بألا يتبع الروابط. إذا لم تضيفي أي مؤشر إلى صفحة تم أيضاً إيقافها من...
استخدامه مع عدم وجود مؤشرات ونوفولو
يمكنك تحديد توجيهات متعددة مُنفصلة عن طريق الشيوعيين مثل عدم وجود مؤشر
المراقبة من خلال X-Robots-Tag KEEP HTTP head
عن طريق استخدام "إكس-روبوتس-تاغ" في مُدير الرد، يمكنك التحكم في ملفات مثل PDFs والصور أيضاً. وهذا يتطلب تشكيلة جانب الخادم.
موجز
الروبوتات هي أداة لا غنى عنها لكل من أداء الموقع
عندما تتفهم النقاط التي تغطيها هذه المادة وتضعها على موقعك من المهم أن نبقى على حالنا وأن نستمر في تحقيق الحد الأمثل
Appendix: KEEP KEEP robots txt examples, including advanced ones
فقط بعض أنواع الملفات
KEEP User-agent KEEP Googlebot Image KEEP Allow : /images/*.jpg KEEP Allow : /images/*.png KEEP Disallow KEEP User-agent KEEP Disallow :/images/
تباطأ الدخول إلى هناك
KEEP User-agent KEEP Ahref KEEP Crawl-delay KEEP User-agent KEEP Allow
استخدم هذه الأنماط المتطورة لتعظيم موقعك على الإنترنت ونقله نحو النجاح