গুগল আপনার সাইটের কোন অংশ দেখতে পারবে আর কোনটি পারবে না, এবং সাইটম্যাপ ঠিক আছে কি না, এক জায়গায় জানুন।Learn in one place which parts of your site Google may visit, which it may not, and whether your sitemap is in good shape.
robots.txt হলো আপনার ওয়েবসাইটের মূল ঠিকানায় রাখা একটি ছোট লেখার ফাইল। সার্চ ইঞ্জিনের বট সাইটে ঢোকার আগে এটি পড়ে বুঝে নেয় কোন ফোল্ডার বা পেজ দেখা যাবে না। অ্যাডমিন বা ব্যক্তিগত পেজ আড়ালে রাখতে এটি দরকার।robots.txt is a small text file placed at the root of your website. Search engine bots read it before entering to learn which folders or pages they must not visit. It is how you keep admin or private pages out of search.
ভয়ের কথা হলো, একটি ভুল লাইন (যেমন Disallow: /) পুরো সাইটকে গুগল থেকে মুছে দিতে পারে। আমাদের চেকার আপনার robots.txt খুঁজে বের করে, কয়টি Disallow ও Allow রুল আছে গুনে দেখায় এবং আসল লেখাটি সামনে রাখে, যাতে ভুল ধরা সহজ হয়।The risk is that one wrong line (such as Disallow: /) can wipe your whole site from Google. Our checker finds your robots.txt, counts Disallow and Allow rules and shows the raw text so mistakes are easy to spot.
একই সঙ্গে sitemap.xml-ও যাচাই হয়। ওয়ার্ডপ্রেস, শপ বা কাস্টম যেকোনো সাইটের মালিক, ডেভেলপার ও এসইও করা কর্মীর জন্য এটি কাজের।Your sitemap.xml is checked in the same run. It suits owners of WordPress, shop or custom sites, developers and anyone doing SEO.
গুগল যদি আপনার গুরুত্বপূর্ণ পেজ ক্রল করতেই না পারে, সেগুলো সার্চে আসবে না, আর কনটেন্ট যত ভালোই হোক লাভ হবে না। অন্যদিকে সাইটম্যাপ গুগলকে নতুন পেজ দ্রুত খুঁজে পেতে সাহায্য করে, বিশেষ করে বড় দোকান বা নিউজ সাইটে।If Google cannot crawl your important pages they will not appear in search, however good the content is. A sitemap, on the other hand, helps Google find new pages faster, especially on large shops and news sites.
টিপস: robots.txt-এ সাইটম্যাপের লিংক দিন, অ্যাডমিন ও কার্ট পেজ আটকান, কিন্তু CSS ও JavaScript আটকাবেন না। মনে রাখবেন, robots.txt গোপনীয়তার জন্য নয়, কারণ ফাইলটি যে কেউ পড়তে পারে।Tips: add your sitemap link in robots.txt, block admin and cart pages, but do not block CSS and JavaScript. Remember robots.txt is not for secrecy, because anyone can read the file.
ঠিক ডোমেইনের মূলে, যেমন yoursite.com/robots.txt। অন্য ফোল্ডারে রাখলে বট পড়বে না।Right at the root of the domain, like yoursite.com/robots.txt. Bots will not read it from any other folder.
এর মানে পুরো সাইট আটকানো। নির্মাণাধীন সাইটে ঠিক আছে, কিন্তু চালু সাইটে থাকলে গুগলে আসা বন্ধ হয়ে যেতে পারে। সঙ্গে সঙ্গে ঠিক করুন।It blocks the whole site. That is fine on a site under construction, but on a live site it can stop you appearing on Google. Fix it at once.
ফাইল না থাকলে বট সব পেজ দেখার অনুমতি পায়, তাই সরাসরি ক্ষতি নেই। তবে অ্যাডমিন বা ফিল্টার পেজ আটকাতে চাইলে এটি রাখা ভালো।Without the file, bots may visit everything, so there is no direct harm. It is still better to have one if you want to keep admin or filter pages out.
বাধ্যতামূলক নয়, কিন্তু খুবই সাহায্য করে। রিপোর্টে দেখবেন সাইটম্যাপ পাওয়া গেছে কি না এবং বৈধ কি না।It is not mandatory but it helps a lot. The report tells you whether a sitemap was found and whether it is valid.
না, এটি শুধু পড়ে ও রিপোর্ট দেখায়। কোনো ফাইল পরিবর্তন করে না।No, it only reads and reports. It never changes any of your files.
বাংলাদেশের সেরা ওয়েবসাইটের র্যাঙ্কিং দেখুন →See the top Bangladesh websites ranking →
Metanoz দিয়ে দ্রুত নিজের ওয়েবসাইট বানান, যা শুরু থেকেই গুগলের জন্য প্রস্তুত।Build your own website with Metanoz, ready for Google from day one.