فایل robots.txt چیست؟
فایل robots.txt یک فایل متنی ساده است که در ریشهی دامنه (مثلاً https://example.com/robots.txt) قرار میگیرد و به رباتهای موتورهای جستجو مانند Googlebot میگوید اجازهی خزش (Crawl) کدام بخشهای سایت را دارند و از کدام مسیرها صرفنظر کنند. این فایل بخشی از پروتکلی به نام Robots Exclusion Protocol است و معمولاً اولین چیزی است که یک ربات پیش از خزش سایت آن را میخواند. توجه کنید که robots.txt یک «درخواست» محترمانه است؛ رباتهای معتبر (مثل گوگل و بینگ) آن را رعایت میکنند، اما رباتهای مخرب الزاماً به آن پایبند نیستند.
کاربرد robots.txt در سئو
نقش اصلی این فایل، مدیریت بودجه خزش (Crawl Budget) و جلوگیری از هدررفت منابع ربات روی صفحات کمارزش است. مثلاً میتوانید مسیرهای جستجوی داخلی، صفحات فیلتر و سبد خرید یا پوشههای مدیریتی را از خزش خارج کنید تا ربات روی صفحات مهمتر تمرکز کند. این موضوع در سئو تکنیکال اهمیت زیادی دارد، بهویژه برای سایتهای بزرگ و فروشگاهی.
یک نکتهی کلیدی: robots.txt با no-index فرق دارد. اگر مسیری را در این فایل ببندید، گوگل محتوای آن را نمیخواند، اما اگر همان صفحه از جای دیگری لینک گرفته باشد، ممکن است باز هم بدون توضیحات در نتایج ظاهر شود. برای حذف کامل یک صفحه از نتایج باید از تگ noindex استفاده کنید، نه از Disallow.
مثال ساختار robots.txt
User-agent: *
Disallow: /wp-admin/
Disallow: /cart/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml
در این مثال:
User-agent: *یعنی این قوانین برای همهی رباتها اعمال میشود.Disallowمسیرهایی را که نباید خزش شوند مشخص میکند.Allowیک استثنا در دل مسیر بستهشده ایجاد میکند.- خط
Sitemapآدرس نقشهی سایت را به رباتها معرفی میکند.
| دستور | کاربرد |
|---|---|
| User-agent | تعیین ربات هدف |
| Disallow | مسیر ممنوع برای خزش |
| Allow | استثنا در مسیر بستهشده |
| Sitemap | معرفی نقشهی سایت |
نکتهی عملی
پیش از انتشار، فایل خود را با ابزارهای تست بررسی کنید تا بهاشتباه صفحات مهم را نبندید؛ یک خط Disallow اشتباه میتواند بخش بزرگی از سایت را از نتایج خارج کند. همچنین مطمئن شوید مسیر سیاساس و جاوااسکریپت لازم برای رندر صفحه را مسدود نکردهاید، چون این کار ارزیابی گوگل را مختل میکند. برای پایش وضعیت خزش و مشکلات فنی سایت میتوانید از ابزار سئوی فنی پایدار سئو کمک بگیرید و در کنار آن با مرور چکلیست سئو تکنیکال از سلامت فنی سایت مطمئن شوید. اگر تازه با مفاهیم پایه آشنا میشوید، خواندن آموزش سئو از صفر تا صد نقطهی شروع خوبی است.