robots禁止了蜘蛛爬行动态URL,怎么还是爬行呢?

你robot写的对嘛？？？

风乱流年 发表于 2012-11-22 14:25
你robot写的对嘛？？？

http://bbs.594zz.com/robots.txt  对的，我仿照的是A5的。

mark35 发表于 2012-11-22 14:00
看访问日志中是否带了百度bot的标示么，没有那就是模拟正常访问

带了的。所以才郁闷，而且也nslookup查过的，是百度蜘蛛

alvintony 发表于 2012-11-24 12:59
带了的。所以才郁闷，而且也nslookup查过的，是百度蜘蛛

那没办法。这不是强制规则无约束力。