目前防采集的方法有很多种，先介绍一下常见防采集策略方法和它的弊端及采集对策： 一、判断一个IP在一定时间内对本站页面的访问次数，如果明显超过了正常人浏览速度，就拒绝此IP访问 弊端：1、此方法只适用于动态页面，如：aspjspphp等...静态页面无法判断某个IP一定时间访问本站页面的次数。2、此方法会严重影响搜索引擎蜘蛛对其收录，因为搜索引擎蜘蛛收录时，浏览速度都会比较快而且是多线程。此方法也会拒绝搜索引擎蜘蛛收录站内文件采集对策：只能放慢采集速度，或者不采建议：做个搜索引擎蜘蛛的IP库，只允许搜索引擎蜘蛛快速浏览站内内容。搜索引擎蜘蛛的IP库的收集，也不太...
查看详细内容 >>