মূল লেখায় যানSkip to content
🤖 ফ্রি টুলFree tool

robots.txt চেকার: সার্চ ইঞ্জিনকে কী আটকাচ্ছেন দেখুনRobots.txt Checker: See What You Are Blocking From Search Engines

গুগল আপনার সাইটের কোন অংশ দেখতে পারবে আর কোনটি পারবে না, এবং সাইটম্যাপ ঠিক আছে কি না, এক জায়গায় জানুন।Learn in one place which parts of your site Google may visit, which it may not, and whether your sitemap is in good shape.

এই টুল কী চেক করেWhat this tool checks

  • robots.txt ফাইল পাওয়া গেছে কি না এবং তার ঠিকানাWhether a robots.txt file is found and its address
  • Disallow ও Allow রুল কয়টি, এবং প্রথম কয়েকটি Disallow লাইনHow many Disallow and Allow rules exist, and the first few Disallow lines
  • Crawl-delay থাকলে তার মানThe Crawl-delay value, if one is set
  • ফাইলের আসল লেখা (raw), যাতে নিজে পড়ে নিতে পারেনThe raw file text so you can read it yourself
  • রিপোর্ট করা সমস্যার তালিকা, বা কোনো বড় সমস্যা না থাকলে সবুজ চিহ্নA list of reported issues, or a green tick when no major problem is found
  • Sitemap পাওয়া গেছে কি না, তার URL এবং ভেতরে কয়টি URLWhether a sitemap is found, its URL and how many URLs it holds
  • Sitemap বৈধ XML কি না, একক না ইনডেক্স (একাধিক ফাইল), এবং শেষ আপডেটের তারিখWhether the sitemap is valid XML, single or index (multi-file), and its last modified date
  • নিজের robots.txt বানানোর ফর্ম (User-agent, Disallow, Sitemap) ও ডাউনলোড বাটনA form to build your own robots.txt (User-agent, Disallow, Sitemap) with a download button

৩ ধাপে ব্যবহারHow to use it in 3 steps

  1. আপনার সাইটের মূল URL লিখুন, যেমন https://example.com।Enter your main site URL, for example https://example.com.
  2. "বিশ্লেষণ করুন" চাপুন। Robots ট্যাব নিজে থেকে খুলে যাবে।Click analyze. The Robots tab opens by itself.
  3. রুল ও সাইটম্যাপ পড়ুন। দরকার হলে বিল্ডারে নতুন robots.txt বানিয়ে ডাউনলোড করে সাইটের মূল ফোল্ডারে আপলোড করুন।Read the rules and sitemap result. If needed, build a new robots.txt in the builder, download it and upload it to your site root.

robots.txt চেকার: সার্চ ইঞ্জিনকে কী আটকাচ্ছেন দেখুনRobots.txt Checker: See What You Are Blocking From Search Engines: পরিচিতিoverview

robots.txt হলো আপনার ওয়েবসাইটের মূল ঠিকানায় রাখা একটি ছোট লেখার ফাইল। সার্চ ইঞ্জিনের বট সাইটে ঢোকার আগে এটি পড়ে বুঝে নেয় কোন ফোল্ডার বা পেজ দেখা যাবে না। অ্যাডমিন বা ব্যক্তিগত পেজ আড়ালে রাখতে এটি দরকার।robots.txt is a small text file placed at the root of your website. Search engine bots read it before entering to learn which folders or pages they must not visit. It is how you keep admin or private pages out of search.

ভয়ের কথা হলো, একটি ভুল লাইন (যেমন Disallow: /) পুরো সাইটকে গুগল থেকে মুছে দিতে পারে। আমাদের চেকার আপনার robots.txt খুঁজে বের করে, কয়টি Disallow ও Allow রুল আছে গুনে দেখায় এবং আসল লেখাটি সামনে রাখে, যাতে ভুল ধরা সহজ হয়।The risk is that one wrong line (such as Disallow: /) can wipe your whole site from Google. Our checker finds your robots.txt, counts Disallow and Allow rules and shows the raw text so mistakes are easy to spot.

একই সঙ্গে sitemap.xml-ও যাচাই হয়। ওয়ার্ডপ্রেস, শপ বা কাস্টম যেকোনো সাইটের মালিক, ডেভেলপার ও এসইও করা কর্মীর জন্য এটি কাজের।Your sitemap.xml is checked in the same run. It suits owners of WordPress, shop or custom sites, developers and anyone doing SEO.

কেন এটি জরুরিWhy it matters

গুগল যদি আপনার গুরুত্বপূর্ণ পেজ ক্রল করতেই না পারে, সেগুলো সার্চে আসবে না, আর কনটেন্ট যত ভালোই হোক লাভ হবে না। অন্যদিকে সাইটম্যাপ গুগলকে নতুন পেজ দ্রুত খুঁজে পেতে সাহায্য করে, বিশেষ করে বড় দোকান বা নিউজ সাইটে।If Google cannot crawl your important pages they will not appear in search, however good the content is. A sitemap, on the other hand, helps Google find new pages faster, especially on large shops and news sites.

টিপস: robots.txt-এ সাইটম্যাপের লিংক দিন, অ্যাডমিন ও কার্ট পেজ আটকান, কিন্তু CSS ও JavaScript আটকাবেন না। মনে রাখবেন, robots.txt গোপনীয়তার জন্য নয়, কারণ ফাইলটি যে কেউ পড়তে পারে।Tips: add your sitemap link in robots.txt, block admin and cart pages, but do not block CSS and JavaScript. Remember robots.txt is not for secrecy, because anyone can read the file.

সাধারণ প্রশ্নFrequently asked questions

robots.txt ফাইল কোথায় থাকে?Where does robots.txt live?

ঠিক ডোমেইনের মূলে, যেমন yoursite.com/robots.txt। অন্য ফোল্ডারে রাখলে বট পড়বে না।Right at the root of the domain, like yoursite.com/robots.txt. Bots will not read it from any other folder.

Disallow: / লেখা থাকলে কী হয়?What does Disallow: / do?

এর মানে পুরো সাইট আটকানো। নির্মাণাধীন সাইটে ঠিক আছে, কিন্তু চালু সাইটে থাকলে গুগলে আসা বন্ধ হয়ে যেতে পারে। সঙ্গে সঙ্গে ঠিক করুন।It blocks the whole site. That is fine on a site under construction, but on a live site it can stop you appearing on Google. Fix it at once.

আমার robots.txt না থাকলে কি ক্ষতি?Is it a problem if I have no robots.txt?

ফাইল না থাকলে বট সব পেজ দেখার অনুমতি পায়, তাই সরাসরি ক্ষতি নেই। তবে অ্যাডমিন বা ফিল্টার পেজ আটকাতে চাইলে এটি রাখা ভালো।Without the file, bots may visit everything, so there is no direct harm. It is still better to have one if you want to keep admin or filter pages out.

সাইটম্যাপ কি দিতেই হবে?Do I have to have a sitemap?

বাধ্যতামূলক নয়, কিন্তু খুবই সাহায্য করে। রিপোর্টে দেখবেন সাইটম্যাপ পাওয়া গেছে কি না এবং বৈধ কি না।It is not mandatory but it helps a lot. The report tells you whether a sitemap was found and whether it is valid.

এই টুল কি আমার সাইটে কিছু বদলায়?Does this tool change anything on my site?

না, এটি শুধু পড়ে ও রিপোর্ট দেখায়। কোনো ফাইল পরিবর্তন করে না।No, it only reads and reports. It never changes any of your files.

আরও কাজের টুলRelated tools

এআই সার্চ চেকার: ChatGPT, Perplexity ও গুগল AI আপনার সাইট কি পড়তে পারে?AI Search Checker: Can ChatGPT, Perplexity and Google AI Read Your Site?এখন অনেকে গুগলের বদলে এআইকে প্রশ্ন করে। আপনার সাইট সেই উত্তরে আসার মতো তৈরি কি না, ৭টি দিক থেকে যাচাই করুন।More people now ask AI instead of Google. Check from seven angles whether your site is ready to appear in those answers. ফ্রি এসইও চেকারFree SEO Checkerযেকোনো ওয়েবসাইটের URL দিন। কয়েক সেকেন্ডে দেখুন Google-এ র‍্যাঙ্ক করতে কোন কোন জায়গায় সমস্যা আছে, কোনটা আগে ঠিক করবেন।Paste any website URL and see in seconds what is holding the page back in Google, and which fix to do first. রিডাইরেক্ট চেকার: লিংকের 301, 302 ধাপগুলো দেখুনRedirect Checker: Trace Every 301 and 302 Hopঠিকানা দিলেই দেখা যাবে লিংকটি কোন কোন ধাপ পেরিয়ে শেষ পেজে পৌঁছায়, আর কোথায় সমস্যা আছে।Enter an address to see every step the link goes through before it reaches the final page, and where the trouble is. ব্রোকেন লিংক চেকারBroken Link Checkerযে লিংক ক্লিক করলে "Page not found" আসে, সেগুলো খুঁজে বের করুন, ভিজিটর ও Google দুজনেই বিরক্ত হয়।Find the links that lead to "Page not found" before visitors and Google find them first.

সব ফ্রি টুল দেখুন →See all free tools →

সম্প্রতি যাচাই হওয়া সাইটRecently analyzed sites

বাংলাদেশের সেরা ওয়েবসাইটের র‍্যাঙ্কিং দেখুন →See the top Bangladesh websites ranking →

SEO-রেডি ওয়েবসাইট দরকার?Need an SEO-ready website?

Metanoz দিয়ে দ্রুত নিজের ওয়েবসাইট বানান, যা শুরু থেকেই গুগলের জন্য প্রস্তুত।Build your own website with Metanoz, ready for Google from day one.

আমরা এখন অফিসের বাইরেWe are outside office hours

অফিস সময়: শনি–বৃহস্পতি, সকাল ৯টা – রাত ৯টা। নম্বর রেখে যান, অফিস খুললেই আমরা কল করব।Office hours: Saturday–Thursday, 9 AM – 9 PM. Leave your number and we will call you when we open.

তবুও WhatsApp-এ লিখুনWrite on WhatsApp anyway