नमस्कार मित्रानो,
आज आपण या लेखामध्ये Robot.txt म्हणजे काय? याबद्दल संपूर्ण माहिती पाहूया.
जेव्हा पण तुम्ही वेबसाईट ब्लॉग किंवा वेबसाईट सुरु करता आणि त्यामध्ये वेगवेगळ्या प्रकारे ब्लॉग पोस्ट आणि पेजेस पब्लिश करता. परंतु त्या मध्ये तुम्हाला वाटले असेल की कधीकधी नको असलेली काही पेजेस किंवा कन्टेन्ट गुगल मध्ये इंडेक्स होऊन सर्व माहिती इंटरनेटवर येते, हे का होते हे तुम्हाला माहिती आहे का?
एखादी युनिक कंटेंट असलेली ब्लॉग पोस्ट सर्च इंजिन मध्ये इंडेक्स होत नाही या पोस्ट इंडेक्स न होण्याचे कारण Robot.txt file हे होऊ शकते. तसेच आपण वेबसाईट वर पब्लिश केलेली कोणती पोस्ट आणि पेजेस आपल्याला सर्च इंजिन मध्ये Crawl आणि इंडेक्स करायची आहे आणि कोणती सामग्री इंडेक्स करायची नाही याबाबत robot.txt सर्च इंजिन bot ला सूचना देते.
Robot.txt हा वेबसाईट मध्ये आणि टेक्निकल सर्च इंजिन रँकिंग साठी सर्वात महत्वाचा आहे. म्हणूनच आपण या पोस्ट मध्ये मराठीमध्ये robot.txt काय आहे? आणि कशा प्रकारे robot.txt तयार केल्या जाते याबद्दल विस्तृत माहिती जाणून घेऊ. (What is Robot.txt Meaning in Marathi and how to generate robot.txt file in Marathi)
Robot.txt म्हणजे काय?| What is Robot.txt File in Marathi
Robot.txt ही एक प्रकारची टेक्स्ट च्या स्वरूपात असलेली फाईल आहे, जी आपल्या वेबसाईट मधील रूट या फोल्डर मध्ये स्थित असते. Robot.txt फाईल सर्च इंजिन बॉट्स ला सूचना देण्यासाठी तयार करण्यात येते. सर्च इंजिन स्पायडर/बॉट आपल्या वेबसाईट मध्ये Robot.txt फाईल मध्ये दिलेल्या सूचनेनुसार आपल्या वेबसाईट मधील Pages, Post किंवा Content ला Crawl आणि Index करतात.
पण जेव्हा ही फाईल बनवलेली नसेल तर सर्च इंजिन बॉट कोणत्याही प्रकारची सूचना मिळत नाही आणि नंतर बॉट्स वेबसाईट मधील सर्वच कंटेंट ला Crawl आणि इंडेक्स करतो. परंतु त्या मध्ये नको असलेली काही पेजेस किंवा कन्टेन्ट गुगल मध्ये इंडेक्स होतात आणि या मुळे वेबसाईट SEO परफॉर्मन्स मध्ये खूप मोठा impact होऊ शकतो. तसेच या सर्व गोष्टीला टाळण्यासाठी आणि सर्च बॉट्स ला सूचना देण्याकरिता robot.txt ही text files तयार केली जाते.
हे पण वाचा – SEO म्हणजे काय? आणि त्याचे प्रकार
तसेच सर्च इंजिन मधील सर्वच crawler किंवा बॉट्स robot.txt फाईल च्या सूचनांचे पालन करत नाहीत. जसे की, Spaming Bots. पण गूगल, बिंग, याहू आणि इतर महत्वाचा सर्च इंजिन मध्ये असलेले crawler किंवा bots robot.txt फाईल च्या सर्व सूचनांचे किंवा आज्ञेचे पालन करतात.
जर तुम्हाला वेबसाईट ची robot.txt फाईल पहायची असेल तर सुरुवातीला तुमच्या वेबसाईट चे URL आणि स्लॅश करून robot.txt असे सर्च बॉक्स मध्ये टाईप केल्यानंतर robot.txt फाईल दिसून जाईल.
www.yourwebsite.com/robot.txt/
किंवा
https://www.google.com/webmasters/tools/robots-testing-tool
Robot.txt फाईल ची मांडणी कशी केली जाते. | How to Create Robot.txt file in Marathi
या मांडणी मध्ये तुम्हाला User Agent या पर्याया समोर * स्टार असेल तर सर्वच सर्च इंजिन जसे की, Google, Yahoo, Bing आणि इतरही सर्च इंजिन बॉट्स आपल्या वेबसाईट मध्ये येतात.
आणि जर तुम्हाला वेबसाईट वर केवळ गूगल बॉट्स आणायचे असतील तर तुम्ही User Agent याच्या समोर Google Bots असे लिहून सर्च इंजिन ला सूचना दिल्या जातात. म्हणजे वेबसाईट वर गूगल बॉट्स च येतील.
User Agent :- यामध्ये सर्च इंजिन बॉट्स च्या साहाय्याने सर्वच नियम पाळले जातात.
Disallow Staging :- यामध्ये वेबसाईट च्या staging फोल्डर मध्ये काहीही क्राल करू नये असे सांगितले जाते.
Disallow Image :- यामध्ये बॉट्स ला कोणतीही प्रतिमा क्राल करण्यात येणार नाही असे स्पष्ट करण्यात येते.
User Agent Bot Image :- यामधील नियम एका विशिष्ट प्रतिमा क्रालरने पाळले पाहिजेत.
Disallow E-Books / Pdf :- वेबसाईट मध्ये असलेल्या कोणत्याही प्रकारच्या e-book Pdf फाईली क्राल न करणे.
अश्या प्रकारे robot.txt फाईल मध्ये मांडणी केलेली असते.
नेहमी विचारले जाणारे प्रश्न
वेबसाइटमध्ये Robots.txt फाईल कोठे असते ?
रूट या फोल्डर मध्ये ही फाईल अपलोड केलेली असते. जर तुम्हाला वेबसाईट ची robot.txt फाईल पहायची असेल तर सुरुवातीला तुमच्या वेबसाईट चे URL आणि स्लॅश करून robot.txt असे सर्च बॉक्स मध्ये टाईप केल्यानंतर robot.txt फाईल दिसून जाईल.
वेबमास्टर टूल्स मध्ये पण चेक करू शकता – https://www.google.com/webmasters/tools/robots-testing-tool
Robot.txt या फाईल चे काम काय असते?
सर्च इंजिन बॉट्स ला सूचना देण्याचे कार्य robot.txt फाईल करत असते, म्हणजेच वेबसाईट चे कोणती पेजेस, पोस्ट आणि कन्टेन्ट सर्च इंजिन मध्ये इंडेक्स करायचे
Robot.txt files चा वापर केला नाही तर काय होईल?
आपल्या वेबसाईट मधील सर्वच पेजेस किंवा कंटेंट सर्च इंजिन मध्ये इंडेक्स होईल. म्हणजेच जे पेजेस तुम्हाला सर्च इंजिन रिझल्ट मध्ये दाखवायचे नाहीत ते सुद्धा सर्च इंजिन मध्ये दिसतील.
जसे कि – www.yourwebsite/wp-admin
निष्कर्ष:
अश्या प्रकारे आपण Robot.txt म्हणजे काय? आणि robot.txt फाईल तयार कशी करायची याबद्दल संपूर्ण आणि विस्तृत माहिती समजली च असेल. तसेच सदर लेखाबद्दल समस्या असतील तर नक्कीच आमच्या सोबत शेयर करा जेणेकरून आम्ही तुमच्या समस्येचे समाधान करू शकू.
तसेच सदर लेखामधील माहीती योग्य आणि उपयुक्त वाटत असेल तर हा लेख तुमच्या मित्र मैत्रिणींना सोशल मीडिया वर शेअर करा जेणेकरून त्यांनाही ह्या माहीतीचा लाभ घेता येईल.
तरी या पोस्ट मध्ये तुम्हाला काही अडचण असेल तर कमेंट मध्ये नक्की सांगा आणि शेअर करा.
🙏धन्यवाद🙏
