فایل robots.txt چیست؟
فایل robots.txt یک فایل متنی ساده است که می توان آن را با هر ویرایشگری ایجاد و با فرمت txt ذخیره نمود، این فایل در ریشه سایت قرار می گیرد (یعنی به طور مستقیم در فولدر wwwroot یا همان public_html و در بالاترین سطح) به طوری که اگر بعد از آدرس سایت، عبارت robots.txt را تایپ کنیم، این فایل در دسترس باشد.
از فایل robots.txt برای مواردی استفاده می شود که نمی خواهیم صفحاتی از
سایتمان توسط موتورهای جستجو (ربات های خزنده) بررسی و ایندکس شود، یا ممکن
است قبلا این کار صورت گرفته باشد و اکنون می خواهیم آن صفحات را به هر
دلیل حذف کنیم، البته استفاده از فایل robots.txt برای حذف لینک ها از
نتایج موتورهای جستجو، تنها یک پیش شرط است (شرط لازم است نه کافی!) و برای
تکمیل کار، شاید ناچار باشید به ابزار وبمستر سایت هایی مثل گوگل مراجعه کنید
می توانید برای ساخت ساخت آنلاين فايل robots به لینک زیر مراجعه نمایید
لینک : ساخت آنلاين فايل robots
دفعات بازدید : 4,489