916134024 发表于 2013-3-19 12:17:46

蜘蛛好像不爬文章页

我的网站整合了文章，网站上线10天了蜘蛛都未爬文章页，是不是robost文件的问题，我是用原来程序的robost，没有修改过，如果我改成空白好吗

blueych 发表于 2013-3-20 09:48:59

文章是另一个程序，多奥的蜘蛛记录功能应该只记录多奥的蜘蛛访问记录吧，我也没看到蜘蛛爬文章页，但谷歌已经收录我文章论坛页了。

admin 发表于 2013-3-20 17:25:27

爬文章页后台不记录，应该与robots.txt没啥关系
页: [1]
查看完整版本: 蜘蛛好像不爬文章页