فایل robots.txt

فایل robots.txt چیست؟ فایل robots.txt بخشی از پروتکل REP است که به ربات های گوگل اجازه بررسی و خزیدن (crawl) کردن یک صفحه یا عکس را نمیدهد. به زبان ساده تر فایل robots.txt یعنی به ربات های گوگل راهنمایی میکنه ... ادامه مطلب