蜘蛛好像不爬文章页

回复

我的网站整合了文章，网站上线10天了蜘蛛都未爬文章页，是不是robost文件的问题，我是用原来程序的robost，没有修改过，如果我改成空白好吗

blueych · 发表于 2013-3-20 09:48:59

文章是另一个程序，多奥的蜘蛛记录功能应该只记录多奥的蜘蛛访问记录吧，我也没看到蜘蛛爬文章页，但谷歌已经收录我文章论坛页了。

admin · 发表于 2013-3-20 17:25:27

爬文章页后台不记录，应该与robots.txt没啥关系

蜘蛛好像不爬文章页[复制链接]