SEO问题，robots.txt到底要不要？

回复

发现站点robots.txt禁止了很多文件夹，我的问题是这些文件夹真的不需要被抓取么？会不会对网站seo有影响？

dota_mamio · 发表于 2013-6-10 16:23:22

我也看了这些禁用的地方，发现没错。抓取了也没有用，反而泄露很多东西。

qq49964969 · 发表于 2013-6-10 20:15:53

这个文件如果是做以前的淘宝客API站，如果没有它，可能被百度检测出用屏蔽淘客代码，还有比如后台地址都有可能被收录O.O

SEO问题，robots.txt到底要不要？[复制链接]