包含关键词 robots 的文章
1.巧用robots避免蜘蛛黑洞
robots.txt的文件用法中有这样一条规则：Disallow: /*?* ，即禁止搜索引擎访问网站中所有的动态页面。网站可以通过这种方式，对Baiduspider优先展示高质量页面、屏蔽了低质量页面，为Baiduspider提供了更友好的网站结...
2.百度蜘蛛Baiduspider介绍
1. 什么是BaiduspiderBaiduspider是百度搜索引擎的一个自动程序，它的作用是访问互联网上的网页，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站上的网页。2. Baiduspider的user-agent是什么？百度各个产品使...