设为首页收藏本站
切换到宽版

Discuz!官方免费开源建站系统

 找回密码
 立即注册

QQ登录

只需一步，快速开始

搜索
Discuz!官方免费开源建站系统»论坛 › Discuz! 交流与讨论 › Discuz!-安装使用 › robots文件
返回列表 发新帖

[求助] robots文件

[复制链接]
热门推荐 发表于 2017-1-12 17:44:46 | 显示全部楼层 |阅读模式
拿去用

  1. User-agent: Baiduspider
  2. Allow: /$
  3. Disallow: /*

  5. User-agent: Baiduspider-image
  6. Allow: /$
  7. Disallow: /*

  9. User-agent: Baiduspider-news
  10. Allow: /$
  11. Disallow: /*

  13. User-agent: Googlebot
  14. Disallow: /user/
  15. Disallow: /group/
  16. Disallow: /?*
  17. Disallow: /*?*

  19. User-agent: MSNBot
  20. Disallow: /user/
  21. Disallow: /group/
  22. Disallow: /?*
  23. Disallow: /*?*

  25. User-agent: YoudaoBot
  26. Disallow: /user/
  27. Disallow: /group/
  28. Disallow: /?*
  29. Disallow: /*?*

  31. User-agent: Sogou web spider
  32. Disallow: /user/
  33. Disallow: /group/
  34. Disallow: /?*
  35. Disallow: /*?*

  37. User-agent: Sogou inst spider
  38. Disallow: /user/
  39. Disallow: /group/
  40. Disallow: /?*
  41. Disallow: /*?*

  43. User-agent: Sogou spider2
  44. Disallow: /user/
  45. Disallow: /group/
  46. Disallow: /?*
  47. Disallow: /*?*

  49. User-agent: Sogou blog
  50. Disallow: /user/
  51. Disallow: /group/
  52. Disallow: /?*
  53. Disallow: /*?*

  55. User-agent: Sogou News Spider
  56. Disallow: /user/
  57. Disallow: /group/
  58. Disallow: /?*
  59. Disallow: /*?*

  61. User-agent: Sogou Orion spider
  62. Disallow: /user/
  63. Disallow: /group/
  64. Disallow: /?*
  65. Disallow: /*?*

  67. User-agent: ChinasoSpider
  68. Disallow: /user/
  69. Disallow: /group/
  70. Disallow: /?*
  71. Disallow: /*?*

  73. User-agent: Sosospider
  74. Disallow: /user/
  75. Disallow: /group/
  76. Disallow: /?*
  77. Disallow: /*?*

  79. User-agent: yisouspider
  80. Disallow: /user/
  81. Disallow: /group/
  82. Disallow: /?*
  83. Disallow: /*?*

  85. User-agent: EasouSpider
  86. Disallow: /user/
  87. Disallow: /group/
  88. Disallow: /?*
  89. Disallow: /*?*

  91. User-agent: 360Spider
  92. Disallow: /user/
  93. Disallow: /group/
  94. Disallow: /?*
  95. Disallow: /*?*


  98. User-Agent: *
  99. Disallow: /
复制代码


回复

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|小黑屋|Discuz! 官方站 ( 皖ICP备16010102号 )star

GMT+8, 2025-2-12 08:28 , Processed in 0.016397 second(s), 3 queries , Gzip On, Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.

快速回复 返回顶部 返回列表