robots禁止了蜘蛛爬行动态URL,怎么还是爬行呢?

我的论坛http://bbs.594zz.com/ 设置了robots禁止爬行动态页面。可是后台查看蜘蛛记录的时候，还是爬行的动态URL，而不是伪静态的。这个是怎么回事啊 ？如下图：

我实在是很郁闷，求大神指点啊！感激不尽！

么人回答啊？？？？

我也来学习一下

1. #
   
2. # robots.txt for Discuz! X2.5
   
3. #
   
4. 
   
5. User-agent: *
   
6. Allow: /forum.php?mod=rss
   
7. Allow: /favicon.ico
   
8. Disallow: /api/
   
9. Disallow: /data/
   
10. Disallow: /source/
    
11. Disallow: /install/
    
12. Disallow: /template/
    
13. Disallow: /config/
    
14. Disallow: /uc_client/
    
15. Disallow: /uc_server/
    
16. Disallow: /static/
    
17. Disallow: /admin.php
    
18. Disallow: /archiver/
    
19. Disallow: /search.php
    
20. Disallow: /member.php
    
21. Disallow: /api.php
    
22. Disallow: /misc.php
    
23. Disallow: /misc.php?mod=*
    
24. Disallow: /connect.php
    
25. Disallow: /forum.php?*
    
26. Disallow: /home.php?*
    
27. Disallow: /seoseokj*.html
    
28. Disallow: /kj*.html
    
29. Disallow: /qiandao
    
30. Disallow: /renwu
    
31. Disallow: /userapp.php?mod=app&*
    
32. Disallow: /*?mod=misc*
    
33. Disallow: /*?mod=attachment*
    
34. Disallow: /*mobile=yes*
    
35. Disallow: /?*

复制代码

你的robot是什么时候更新的

。See_you_tomor 发表于 2012-11-21 13:47
你的robot是什么时候更新的

老早了，3个月前，以前是rewrite2.0的 换成了3.0的后，用的是.haccess，原来是httpd.ini

不是所有蜘蛛都遵守robot约定的

mark35 发表于 2012-11-21 15:51
不是所有蜘蛛都遵守robot约定的

我看的是百度 百度也不遵守吗？

alvintony 发表于 2012-11-22 13:48
我看的是百度 百度也不遵守吗？

有时搜索引擎会伪装成普通客户端来访问页面的

mark35 发表于 2012-11-22 13:53
有时搜索引擎会伪装成普通客户端来访问页面的

我查过的，ip是百度蜘蛛的。不过爬行的url全部是动态的！

alvintony 发表于 2012-11-22 13:56
我查过的，ip是百度蜘蛛的。不过爬行的url全部是动态的！

看访问日志中是否带了百度bot的标示么，没有那就是模拟正常访问