网站蜘蛛爬行问题

回复

如题刚用了超级监控，才发现的问题，蜘蛛爬行的时候商品不存在返回的状态码是404，其中还会出现一些页面的直接是404页面找不到网页，不知道这个些地址是从那爬出来了，希望官方能拿修复下
未命名.jpg

admin · 发表于 2013-2-21 10:33:32

上线后开启伪静态或变更“URL干扰码”会造成搜索引擎缓存了更改前的URL，等搜索引擎更新缓存即可。严重的可用robots.txt屏蔽动态页地址
部分平台记录伪静态URL的访问地址为动态属正常!

网站蜘蛛爬行问题[复制链接]