Pilotiko feature : उपलब्ध
robots.txt: यह फ़ाइल सर्च इंजन के रोबोट को क्या बताती है?
वेबसाइट की रूट में रखी एक छोटी टेक्स्ट फ़ाइल, जिसे अक्सर भुला दिया जाता है, फिर भी जो पूरी साइट को अदृश्य बना सकती है।
robots.txt वेबसाइट की रूट में /robots.txt पते पर रखी एक टेक्स्ट फ़ाइल है, जो क्रॉलर रोबोट को बताती है कि वे कौन-से पते देख सकते हैं। इसका मुख्य काम सर्वर पर ज़्यादा बोझ पड़ने से रोकना है। यह किसी पेज को Google से नहीं छिपाती और किसी डेटा की सुरक्षा नहीं करती।
30 days free, no credit card.
संक्षेप में
- आधिकारिक मानक: RFC 9309 (Robots Exclusion Protocol), सितंबर 2022 में प्रकाशित।
- हमेशा /robots.txt पते पर, छोटे अक्षरों में, UTF-8 एन्कोडिंग में।
- यह सुरक्षा का उपाय नहीं है: जो रोबोट इसे मानते हैं, वे अपनी मर्ज़ी से मानते हैं।
- किसी पेज को परिणामों से बाहर रखने के लिए noindex का उपयोग होता है, robots.txt का नहीं।
robots.txt फ़ाइल किस काम आती है?
Google इसे वह फ़ाइल बताता है जो क्रॉलर रोबोट को बताती है कि वे आपकी साइट के किन पतों तक पहुँच सकते हैं, मुख्यतः सर्वर को अनुरोधों से ज़्यादा लोड होने से बचाने के लिए [1]।
सितंबर 2022 से यह प्रोटोकॉल IETF के RFC 9309 मानक में वर्णित है। फ़ाइल साइट के पहले स्तर पर /robots.txt पते पर होनी चाहिए, उसका नाम पूरी तरह छोटे अक्षरों में हो, वह UTF-8 में एन्कोड हो और सादे टेक्स्ट के रूप में परोसी जाए [2]।
नियम कैसे पढ़े जाते हैं?
फ़ाइल समूहों में बँटी होती है। हर समूह एक या अधिक user-agent पंक्तियों से शुरू होता है, जो लक्षित रोबोट के नाम बताती हैं, और उसके बाद allow (अनुमति) या disallow (मनाही) के नियम आते हैं [2]।
किसी पते के लिए रोबोट सबसे विशिष्ट नियम चुनता है, यानी वह जिसका पथ सबसे ज़्यादा अक्षरों पर मेल खाता है। अगर allow और disallow का नियम बराबर हों, तो allow को प्राथमिकता मिलनी चाहिए। अगर कोई नियम मेल न खाए, तो पता अनुमत है [2]।
| नियम | माँगा गया पता | परिणाम |
|---|---|---|
| Disallow: /admin/ (क्रॉलर को /admin/ फ़ोल्डर में जाने से रोकें) | /admin/factures | मना है |
| Disallow: /admin/ और Allow: /admin/aide | /admin/aide | अनुमत: allow का नियम अधिक लंबा है |
| /services/ पर कोई नियम नहीं | /services/thermopompe | अनुमत |
| Disallow: / | सभी पते | लक्षित रोबोट के लिए पूरी साइट मना है |
सबसे लंबे मेल का तर्क, जैसा RFC 9309 में वर्णित है [2]।
robots.txt किसी पेज को क्यों नहीं छिपाती?
Google स्पष्ट कहता है: robots.txt किसी पेज को Google से बाहर रखने का तरीका नहीं है। मना किया गया पता भी इंडेक्स हो सकता है अगर दूसरी साइटें उससे लिंक करती हैं, और तब उसका पता परिणामों में दिख सकता है। किसी पेज को बाहर रखने के लिए noindex निर्देश या पासवर्ड सुरक्षा चाहिए [1]।
मानक भी यही दोहराता है: ये नियम पहुँच की अनुमति का कोई रूप नहीं हैं [2]। बुरी नीयत वाला रोबोट इन्हें आसानी से नज़रअंदाज़ कर सकता है। सबमिशन, इनवॉइस या ग्राहकों की फ़ाइलों की सुरक्षा के लिए कभी robots.txt पर भरोसा न करें।
यह किसी डुप्लिकेट पेज का मुख्य संस्करण चुनने के लिए भी नहीं है: Google इसके लिए robots.txt के उपयोग को हतोत्साहित करता है और कैनॉनिकल टैग की सलाह देता है [4]।
अगर फ़ाइल न हो या त्रुटि दे तो क्या होता है?
क्या इसमें sitemap बताया जा सकता है?
हाँ। sitemaps.org प्रोटोकॉल के अनुसार फ़ाइल में कहीं भी « Sitemap: » पंक्ति जोड़कर उसके बाद XML sitemap का पूरा पता लिखा जा सकता है, और एक से ज़्यादा भी दर्ज किए जा सकते हैं [3]। यह सभी सर्च इंजनों को साइट का नक्शा बताने का आसान तरीका है।
robots.txt की कौन-सी गलतियाँ सबसे महँगी पड़ती हैं?
- नई साइट लॉन्च करते समय टेस्ट वातावरण का « Disallow: / » लाइव कर देना।
- उन CSS फ़ाइलों या इमेज को ब्लॉक करना जिनकी पेज को सही दिखने के लिए ज़रूरत है।
- किसी पेज को Google से हटाने के लिए उसे मना कर देना, जिससे रोबोट noindex निर्देश देख ही नहीं पाता।
- यह मान लेना कि disallow में लिखा « गुप्त » पेज सुरक्षित है: फ़ाइल सार्वजनिक है और उसे उजागर कर देती है।
- सर्वर को /robots.txt पर 5xx त्रुटि के साथ जवाब देने देना।
Pilotiko robots.txt के साथ क्या करता है?
जो कंपनी साइट Pilotiko बनाता और होस्ट करता है, उसके लिए वह साइट के नक्शे, स्ट्रक्चर्ड डेटा और llms.txt फ़ाइल के साथ ही robots.txt फ़ाइल भी बनाता है। यह ऑर्गेनिक SEO की एक बुनियाद है; यह निजी पेजों की वास्तविक सुरक्षा का विकल्प नहीं है।
अक्सर पूछे जाने वाले सवाल
robots.txt फ़ाइल कहाँ होनी चाहिए?
साइट की रूट में, ठीक /robots.txt पते पर, छोटे अक्षरों में। किसी उप-फ़ोल्डर में रखी फ़ाइल को रोबोट ध्यान में नहीं लेते।
क्या robots.txt किसी पेज को Google से हटा सकती है?
नहीं। मना किया गया पेज इंडेक्स में बना रह सकता है अगर दूसरी साइटें उससे लिंक करती हैं। उसे हटाने के लिए noindex निर्देश इस्तेमाल करें, और रोबोट को पेज तक पहुँचने दें ताकि वह उसे पढ़ सके।
क्या मेरी साइट को robots.txt की ज़रूरत है?
यह अनिवार्य नहीं है: RFC 9309 के अनुसार, अगर फ़ाइल न हो (404 जवाब), तो रोबोट पूरी साइट क्रॉल कर सकता है। फिर भी sitemap बताने और तकनीकी सेक्शन को अलग रखने के लिए एक सरल फ़ाइल उपयोगी रहती है।
क्या सभी रोबोट robots.txt का पालन करते हैं?
नहीं। Google याद दिलाता है कि दूसरे रोबोट इसे नज़रअंदाज़ कर सकते हैं, और मानक साफ़ कहता है कि ये नियम पहुँच की अनुमति नहीं हैं। संवेदनशील डेटा को दूसरे तरीकों से सुरक्षित करना चाहिए।
किसी बदलाव को लागू होने में कितना समय लगता है?
RFC 9309 बताता है कि रोबोट को कैश की गई प्रति 24 घंटे से ज़्यादा इस्तेमाल नहीं करनी चाहिए, सिवाय तब जब फ़ाइल उपलब्ध न हो। इसलिए बदलाव के पढ़े जाने में एक दिन तक लग सकता है।
robots.txt और llms.txt में क्या अंतर है?
robots.txt क्रॉलर रोबोट को पहुँच के नियम देती है। llms.txt एक अलग प्रस्ताव है जो भाषा मॉडलों के लिए साइट की सामग्री का सार देता है; यह न कुछ ब्लॉक करता है, न कुछ अनुमति देता है।
स्रोत
- Google Search Central, Présentation du fichier robots.txt (देखा गया 15 अक्टूबर 2026).
- IETF (RFC Editor), RFC 9309 : Robots Exclusion Protocol (देखा गया 15 अक्टूबर 2026).
- sitemaps.org, Sitemaps XML format (देखा गया 15 अक्टूबर 2026).
- Google Search Central, Spécifier une URL canonique avec rel="canonical" et d'autres méthodes (देखा गया 15 अक्टूबर 2026).
आगे पढ़ें
- Sitemap XML: सर्च इंजन के लिए साइटमैप किसलिए है?Sitemap XML वह फ़ाइल है जो सर्च इंजन को आपकी वेबसाइट के सभी पेजों की सूची देती है। जानिए इसके टैग, आधिकारिक सीमाएँ, छोटे व्यवसाय (PME) के लिए पूरा उदाहरण और बचने वाली आम गलतियाँ, सरल भाषा में।
- कैनोनिकल टैग: पेज का सही वर्ज़न कैसे बताएँ?कैनोनिकल टैग Google को बताता है कि डुप्लिकेट पेजों में से कौन-सा पता चुनना है। जानिए इसके तरीके, अलग-अलग संकेतों की ताकत, उदाहरण सहित गणना और वे आम गलतियाँ जो आपकी SEO रैंकिंग को नुकसान पहुँचाती हैं।
- llms.txt: भाषा मॉडल के लिए यह फ़ाइल किस काम आती है?llms.txt फ़ाइल समझें: इसे किसने प्रस्तावित किया, Markdown में इसकी बनावट कैसी होती है, Quebec की सर्विस वाली छोटी-मध्यम कंपनी (PME) के लिए एक उदाहरण, और वे बातें जो यह फ़ाइल आपके लिए अपने आप नहीं करती।
- SEO क्या है? नैचुरल रैंकिंग को समझेंSEO, यानी सर्च इंजन में नैचुरल रैंकिंग, आसान भाषा में समझें: यह क्या-क्या कवर करता है, Québec की सर्विस वाली छोटी-मध्यम कंपनी (PME) के लिए आंकड़ों वाला उदाहरण और वे गलतियाँ जिनसे बचना जरूरी है, सब यहाँ।
Your whole business, on one screen.
Each department is a room. Pilotiko prepares the work; you approve with one click.
- Call answered
- Appointment confirmed
- Email reply ready
- Invoice prepared