网站蜘蛛爬行问题

查看数: 2063 | 评论数: 1 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2013-2-20 20:50

如题刚用了超级监控，才发现的问题，蜘蛛爬行的时候商品不存在返回的状态码是404，其中还会出现一些页面的直接是404页面找不到网页，不知道这个些地址是从那爬出来了，希望官方能拿修复下 ...

admin 发表于 2013-2-21 10:33:32

上线后开启伪静态或变更“URL干扰码”会造成搜索引擎缓存了更改前的URL，等搜索引擎更新缓存即可。严重的可用robots.txt屏蔽动态页地址
部分平台记录伪静态URL的访问地址为动态属正常!

回复