Robots.txt File Kya Hoti Hai: अपनी वेबसाइट के लिए कैसे बनाएं

Robots.txt File एक फ़ाइल है जिसके माध्यम से वेबमास्टर्स सर्च इंजन क्रॉलर्स को निर्देश देते हैं कि वेबसाइट के किन पेजों को क्रॉल करना है और किन पेजों को नहीं करना है.

जब भी हम कोई ब्लॉग या वेबसाइट बनाते हैं तो सर्च इंजन बोटस हमारी वेबसाइट के हर पेज को क्रॉल करते हैं और फिर उसे इंडेक्स करते हैं लेकिन वेबसाइट में कुछ पेज ऐसे भी होते हैं जिन्हें हम प्राइवेट रखना चाहते हैं. मतलब सर्च इंजन क्रॉलर्स को उन्हें क्रॉल नहीं करना है. सर्च इंजन के क्रॉलर को यह निर्देश देने के लिए Robots.txt File का प्रयोग किया जाता है.

Definition of Robots.txt File in Hindi

किसी वेबसाइट में robots.txt File वह फ़ाइल होती है जिसके माध्यम से सर्च इंजन क्रॉलर को निर्देश दिया जाता है कि वेबसाइट के किस पेज को क्रॉल करना है और किस पेज को क्रॉल नहीं करना है.

Robots.txt File कैसे काम करती है ?

पिछले लेख में हमने आपको बताया था कि Search Engine काम कैसे करते हैं. दो प्रमुख काम हैं एक तो Crawling और दूसरा Indexing.

जब भी कोई सर्च इंजन बोट्स हमारी वेबसाइट पर आता है तो वह सबसे पहले Robots.txt File को ढूंढता है और देखता है कि उसे क्या निर्देश मिले हैं. और फिर उसी के अनुसार वह वेबसाइट की Crawling और Indexing करता है. 

अगर सर्च इंजन बोट्स को Robots.txt File बनी नहीं मिलती है तो वह वेबसाइट के सभी पेज को Crawl कर लेता है.

जितने भी विश्वशनीय सर्च इंजन हैं वह सभी Robots.txt File के निर्देशों का सख्ती के साथ पालन करते हैं. जैसे Google, Bing, Yahoo आदि.

Robots.txt File क्यों बनाई जाती है ?

एक सवाल अब आपके मन में आ रहा होगा कि हम ऐसा चाहते ही क्यों हैं कि हमारी वेबसाइट के कुछ पेज Index न हो? क्योकि जब भी ब्लॉगर नया ब्लॉग बनाता है तो वह चाहता है कि मेरी वेबसाइट के सभी पेज जल्दी से जल्दी Index हो.

तो आपकी जानकारी के लिए बता दें कि जब भी सर्च इंजन क्रॉलर किसी वेबसाइट को क्रॉल करने आते हैं तो उनके पास निश्चित समय और संसाधन होते हैं एक वेबसाइट को Crawl करने के लिए, जिसे की Crawl Budget कहते हैं.

इसलिए हम चाहते हैं कि क्रॉलर उस सीमित समय और संसाधनों के साथ हमारे वेबसाइट के सभी महत्वपूर्ण पेज को जल्दी इंडेक्स करें, जो हमारी वेबसाइट के रैंकिंग को प्रभावित कर सकते हैं, इसी काम के लिए Robots.txt File का इस्तेमाल किया जाता है.

Robots.txt File बनाने से सर्च इंजन बोट्स वेबसाइट के उस पेज को क्रॉल नहीं करेंगे जो वेबपेज वेबसाइट के लिए उतने महत्वपूर्ण नहीं हैं. आप Category, Tags, Author, Admin etc. पेजों की Indexing को Robots.txt फाइल से ब्लॉक कर सकते हैं.

इसके अलावा हर किसी वेबसाइट में कुछ प्राइवेट वेबपेज भी होते हैं जिन्हें हम इंडेक्स नहीं करवाना चाहते हैं. इन वेबपेजों की Indexing को रोकने के लिए भी Robots.txt File का उपयोग किया जाता है.

Robots.txt File Format in Hindi

Robots.txt File का जो Format होता है वह कुछ इस प्रकार होता है -

User Agent – *

Allow : /

Disallow : /

इस फॉर्मेट में User Agents का मतलब होता है सर्च इंजन क्रॉलर. जैसे अगर हम केवल Google Bots को निर्देश देंगे तो User Agents में Googlebot लिखेंगे, इसी प्रकार Bing को निर्देश देने के लिए Bingbot का प्रयोग करेंगे. लेकिन अगर हम सभी सर्च इंजन बोट्स को निर्देश देना चाहते हैं तो * चिन्ह का प्रयोग करते हैं.

Allow वाले सेक्शन में हम अपने उन वेबपेज को क्रॉल करने का निर्देश देते हैं, जिन्हें हम चाहते हैं कि सर्च इंजन इंडेक्स करें.

Disallow के सेक्शन में हम उन वेबपेज को ऐड करते हैं जिन्हें हम चाहते हैं कि सर्च इंजन बोट्स इन्हें क्रॉल न करें.

Robots.txt File Kaise Banaye

Blogger.com और WordPress पर Robots.txt File कैसे बनाई जाती है की जानकारी निम्नवत है.

Robots.txt File For Blogger

Blogger में Robots.txt File बनाने के लिए नीचे बताए गए स्टेप को फॉलो करें -

• सबसे पहले ब्लॉगर डैशबोर्ड के Setting वाले विकल्प में आ जाएं

• इसके बाद स्क्रोल डाउन करें और Crawlers and Indexing वाले विकल्प में जाएं

• अब यहाँ पर आपको Custom Robots.txt को Enable कर लेना है.

• इसके बाद आपको Custom Robots.txt File बनाकर अपनी Blogger वेबसाइट में Add कर लेना है.

Robots.txt File For WordPress

WordPress पर Robots.txt File बनाने के लिए नीचे बताए गए स्टेप को फॉलो करें. यह Yoast SEO प्लगइन के लिए है.

• WordPress Dashboard में SEO वाले विकल्प पर जाएं .

• अब Tool वाले विकल्प पर क्लिक करें.

• यहाँ पर आपके सामने File Editor का आप्शन आएगा.

• File Editor के आप्शन पर क्लिक करके आप अपने WordPress वेबसाइट में Robots.txt File ऐड कर सकते हैं.

• Rank Math प्लगइन में आपको साइडबार में ही Robots.txt का विकल्प मिल जाएगा, इस पर क्लिक करते ही आप Robots.txt को एडिट कर सकते हैं.

वेबसाइट की Robots.txt File Check कैसे करें?

इस नीचे दिए गए URL की मदद से आप किसी भी Website का Robots.txt File देख सकते हैं -

https://xyz.com/robots.txt

आपको xyz.com में उस वेबसाइट का Domain Name डालना है जिस वेबसाइट की आप Robots.txt File देखना चाहते हैं.

Robots.txt के फायदे

Robots.txt File बनाने के अनेक सारे फायदे आपको मिलते हैं, जैसे कि -

• वेबसाइट के महत्वपूर्ण पेज जल्दी से इंडेक्स हो जाते हैं.

• किसी प्राइवेट पेज की Crawling को रोक सकते हैं.

• वेबसाइट में किसी Low Value Page को ब्लॉक कर सकते हैं.

• आप Crawl Budget का सही इस्तेमाल कर सकते हैं.

अंत में: Robots.txt File Kya Hoti Hai हिंदी में

इस आर्टिकल के माध्यम से आपने जाना कि robots.txt फाइल क्या है, robots.txt फाइल क्यों बनाई जाती है, कैसे बनाते हैं और robots.txt से जुड़ी लगभग सभी महत्वपूर्ण जानकारियां,  इस लेख को पढ़ने के बाद आप किसी भी वेबसाइट के लिए robots.txt File की अहमियत समझ गए होंगे.

उम्मीद हैं कि आपको Robots.txt File Kya Hota Hai लेख पसंद आया होगा. लेख को सोशल मीडिया पर अपने दोस्तों के साथ भी शेयर करें.