Robot Meta Tag का इस्तेमाल web spiders को निर्देश देने के लिए किया जाता है। इसे page to page के आधार पर HTML fileके head में meta tag को सम्मिलित करके implement किया जाता है।
इसे 1996 में W3C वर्कशॉप में प्रस्तावित किया गया और इसके उपयोग के बारे में December 1999 में HTML 4.01 के Appendix B में बताया गया था। Robots meta tag on page optimization में महत्वपूर्ण भूमिका निभाते हैं क्यूंकि यह robots meta tag ही है जो सर्च इंजन को बताता है कि किसी पृष्ठ के कंटेंट के साथ क्या करना है।
Basic Syntex: इसका syntax बहुत ही आसान और साधारण होता है।
- <meta name=“robots” content=“instructions to be followed”>
Syntex में आप placeholder के रूप में अलग अलग values डाल सकते हो जैसा कि ऊपर दिए गए Syntex में placeholder के रूप में “instructions to be followed” लिखा हुआ है। अलग अलग values के कुछ उदाहरण हैं index, noindex, follow, nofollow, all और none-thing.
Robot meta tags के अर्थ और implementation
- <META NAME=“ROBOTS” CONTENT=“NOINDEX, NOFOLLOW”>
इस tag का निर्देश है “पृष्ठ को index न करें और पृष्ठ पर दिए गए links को follow ना करें” । इस tag का इस्तेमाल web spider को यह निर्देश देने के लिए होता है कि वो पृष्ठ को index ना करे और उस पर दिए गए links को follow ना करे। इस प्रकार जिस पृष्ठ के लिए इस tag का इस्तेमाल होगा वह search index में नही रखा जाएगा बाकि के पृष्ठों की ही crawling होगी।
- <META NAME=“ROBOTS” CONTENT=“INDEX, NOFOLLOW”>
इस tag का निर्देश है “पृष्ठ को index करें पर पृष्ठ पर दिए गए links को follow ना करें”। इस tag का इस्तेमाल web spider को यह निर्देश देने के लिए होता है कि वो पृष्ठ को index करे पर उस पर दिए गए दुसरे पृष्ठों के links को follow ना करे। इस प्रकार आपका पृष्ठ search index में रख लिया जाएगा पर दूसरे पृष्ठों के लिए link path नही बनेगा।
- <META NAME=“ROBOTS” CONTENT=“NOINDEX, FOLLOW”>
इस tag का निर्देश है “पृष्ठ को index ना करें पर पृष्ठ पर दिए गए links को follow किया जाए”। इसलिए spider दिए गए पृष्ठ को index नही करेगा पर दूसरे पृष्ठों के लिए दिए गए links को follow करेगा। आपका पृष्ठ search index में नही रखा जाएगा पर दूसरे पृष्ठों के लिए link path बना दिया जाएगा।
- <META NAME=“ROBOTS” CONTENT=“INDEX, FOLLOW”>
इस tag का निर्देश है “पृष्ठ को index करें और पृष्ठ पर दिए गए links को follow किया जाए”। इसलिए spider दिए गए पृष्ठ को index करेगा और दूसरे पृष्ठों के लिए दिए गए links को भी follow करेगा। आपका पृष्ठ search index में रख लिया जाएगा और दूसरे पृष्ठों के लिए link path भी बना दिया जाएगा।