robots文件添加Sitemap链接的方法

小鹰博客 2017-7-16 17:59:45 网站优化 次阅读　查看评论

robots文件怎么添加Sitemap链接？

sitamap索引的位置最好放在robots.txt的最下面，蜘蛛先遵循前面的原则，再按照网站地图爬取。

User-agent:*

Disallow:/wap/

Sitemap: http://www.0375wg.com/sitemap.xml

更多robots文件的写法查看文章《robots文件的标准写法》

如果文章对你有帮助，请打赏支持！