abao 发表于 2015-5-1 20:40:50

蜘蛛访问激增，每天流量超限

这几天网站蜘蛛访问量激增，每天都是1万以上，大部分是“其它”类型，每天换一个ip，数量多达7、8千，今天屏蔽了这个，明天又出另一个，请问怎样才能根除这种现象发生

admin 发表于 2015-5-4 09:25:09

以下为robots.txt只允许百度和SOSO的写法示例
User-agent: Baiduspider
Allow: /

User-agent: Sosospider
Allow: /

User-agent: *
Disallow: /
页: [1]
查看完整版本: 蜘蛛访问激增，每天流量超限