Robots.txt 文件应放在网站的那个目录?

Robots.txt文件必须放在网站的根目录。

放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。

比如:

http://域名/robots.txt    有效

http://域名/bbs/robots.txt     无效

如果你不能控制根目录的 robots.txt,则你可以通过在子目录网页中使用标签阻止网页被收录。

本资源由62源码网发布,转载请注明出处:https://www.62ym.com/15129.html

本站发布的内容若侵犯到您的权益,请联系我们删除,我们将及时处理!

=========================================

本站大部分源码资源收集于网络,不保证其完整性以及安全性,请下载后自行测试。

本站资源仅供学习与参考,请勿用于商业或非法用途。

(0)
上一篇 2019年10月23日 18:14
下一篇 2019年10月23日 21:17

发表评论

登录后才能评论
QQ咨询

咨询QQ:button_111

周一至周六:9:00 - 18:00

节假日休息

返回顶部