Robots.txt文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。
比如:
http://域名/robots.txt 有效
http://域名/bbs/robots.txt 无效
如果你不能控制根目录的 robots.txt,则你可以通过在子目录网页中使用标签阻止网页被收录。
本资源由62源码网发布,转载请注明出处:https://www.62ym.com/15129.html
本站发布的内容若侵犯到您的权益,请联系我们删除,我们将及时处理!
=========================================
本站大部分源码资源收集于网络,不保证其完整性以及安全性,请下载后自行测试。
本站资源仅供学习与参考,请勿用于商业或非法用途。