Which of the following accurately describes the purpose of the ‘robots.txt’ file in the context of the World Wide Web and websites?
Which of the following accurately describes the purpose of the ‘robots.txt’ file in the context of the World Wide Web and websites?
निम्नलिखित में से कौन-सा कथन वर्ल्ड वाइड वेब और वेबासाइटों के संदर्भ में, फ़ाइल के उद्देश्य का सटीक वर्णन करता है?
Detailed Solution & Logic
It instructs web crawlers and search engines about which pages or sections of thewebsite should not be crawled or indexed./ यह वेब क्राॅलर (Web crawler) और सर्च इंजन को निर्देश देता है कि वेबसाइट के किन पेजों या सेक्शन को क्राॅल या इंडेक्सन नहीं किया जाना चाहिए।
Explanation / व्याख्या:
-
The robots.txt file is a text file placed in the root directory of a website that gives instructions to web crawlers and search engines about which pages or directories should not be accessed or indexed.
robots.txt फ़ाइल एक टेक्स्ट फ़ाइल है जो वेबसाइट की रूट डायरेक्ट्री में रखी जाती है और वेब क्रॉलर्स और सर्च इंजनों को यह निर्देश देती है कि कौन से पेज या डायरेक्ट्रीज़ एक्सेस या इंडेक्स नहीं किए जाने चाहिए। -
This file does not secure the content; it only provides guidelines to well-behaved crawlers.
यह फ़ाइल सामग्री को सुरक्षित नहीं करती; यह केवल सुसंगत क्रॉलर्स के लिए निर्देश देती है। -
Other options are incorrect:
-
Option 2 → Browser compatibility is handled using HTML, CSS, and scripts, not robots.txt.
ब्राउज़र संगतता HTML, CSS और स्क्रिप्ट्स के माध्यम से संभाली जाती है, robots.txt के माध्यम से नहीं। -
Option 3 → Backup of website files is done via server backups, not robots.txt.
वेबसाइट फाइलों का बैकअप सर्वर बैकअप के माध्यम से किया जाता है, robots.txt द्वारा नहीं। -
Option 4 → Metadata like title and description is provided using HTML meta tags, not robots.txt.
मेटाडेटा जैसे टाइटल और विवरण HTML meta टैग्स के माध्यम से दिया जाता है, robots.txt के माध्यम से नहीं।
-
Extra Facts / अतिरिक्त तथ्य :
-
The robots.txt file uses directives such as User-agent (specifying the crawler) and Disallow (which pages not to crawl).
robots.txt फ़ाइल में निर्देश शामिल होते हैं जैसे User-agent (कौन सा क्रॉलर) और Disallow (कौन से पेज क्रॉल न किए जाएँ)। -
Misconfigured robots.txt files can accidentally block search engines from indexing important pages.
गलत कॉन्फ़िगर की गई robots.txt फ़ाइलें महत्वपूर्ण पेजों को सर्च इंजन से इंडेक्स होने से रोक सकती हैं। -
Robots.txt is part of SEO best practices, helping control search engine crawling behavior.
Robots.txt SEO सर्वोत्तम प्रथाओं का हिस्सा है, जो सर्च इंजन क्रॉलिंग व्यवहार को नियंत्रित करने में मदद करता है।
Similar Practice Questions
What is the full form of WWW?
What is the full form of WWW? WWW का पूर्ण रुप क्या है?
Which is the system that coordinates between various devices in the entire communication process?
Which is the system that coordinates between various devices in the entire communication process? वह...
What is the primary purpose of a URL (Uniform Resource Locator) on the web?
What is the primary purpose of a URL (Uniform Resource Locator) on the web? वेब...
What is the full form of ARPANET?
What is the full form of ARPANET? ARPANET का पुर्ण रूप क्या है
What is LAN short for?
What is LAN short for? LAN किसका संक्षिप्त रूप है?
E-mail is similar to a………….
E-mail is similar to a…………. ई-मेल एक ……….. के समान है।
What is the coverage area of Local Network (LAN)?
What is the coverage area of Local Network (LAN)? लोकल एरिया नेटवर्क (LAN) का कवरेज...