首页
购买授权
VIP授权
问答
问答
QQ:12606688
帐号
快捷导航
登录
注册
搜索
搜索
搜索
或
发布帖子
本版
帖子
用户
多奥软件
»
问答
›
多奥程序交流区
›
多奥淘宝客程序VIP版
›
蜘蛛访问激增,每天流量超限
蜘蛛访问激增,每天流量超限
[复制链接]
蜘蛛访问激增,每天流量超限
[复制链接]
abao
发表于
2015-5-1 20:40:50
[显示全部楼层]
|
只看大图
|
倒序浏览
|
阅读模式
回复: 1
浏览: 2823
这几天网站蜘蛛访问量激增,每天都是1万以上,大部分是“其它”类型,每天换一个ip,数量多达7、8千,今天屏蔽了这个,明天又出另一个,请问怎样才能根除这种现象发生
回复
举报
精彩评论
(1)
QQ好友和群
QQ空间
admin
发表于 2015-5-4 09:25:09
显示全部楼层
以下为robots.txt只允许百度和SOSO的写法示例
User-agent: Baiduspider
Allow: /
User-agent: Sosospider
Allow: /
User-agent: *
Disallow: /
回复
举报
QQ好友和群
QQ空间
发表主题
回复
abao
多奥VIP
发消息
加好友
串个门
打招呼