悬赏200金币求SS7.5详细的 robots.txt 写法!

我等级不高也不经常发帖子,所以我现在的积分也都是金币顶起来的,我是康盛SS的忠实用户,我很喜欢SS,也觉得这个程序很强大,所以一直在用,但是SS目前我觉得不足的地方就是关于robots.txt具体用法没交代清楚,因为网站是动态的很多目录都是虚拟的让蜘蛛爬的,具体真叫我写出来我真的写不好了,现在悬赏200金币求高手或者是官方可以给个明确的教程,也希望您的帮助可以帮到更多象我一样需要robots.txt写法的教程!

下面是要求:

我的网站地址是 www.zentendo.net 目前我开启的是伪静态 网站后缀用的是 .html

但是SS开启为静态后 动态页面 和 静态页面都收录 导致 网站权重不稳定 动态页面快照天天更新 静态的却不动!

如 www.zentendo.net/action-bbs 这个地址根本就不存在 可百度一直都读这个页面 该每天12小时快照

www.zentendo.net/action-news    www.zentendo.net/action-news.html   这2个地址也是很冲突

甚至还有这样的页面 www.zentendo.net/?action-news

现在我就是想把不该收录的动态页面全部屏蔽掉 只让 蜘蛛读取 伪静态页面!

只保留下面

http://www.zentendo.net/ 首页地址

http://www.zentendo.net/index.php 首页地址

http://www.zentendo.net/action-news.html 频道子分类

http://www.zentendo.net/category-17.html 文章列表

http://www.zentendo.net/viewnews-1046.html  文章内容

其余的全部屏蔽  如用户信息收录 TAG 页面 搜索页面 附件地址 评论和投票页面 ! 等一切不需要让蜘蛛读取的动态页面!

因为对SS程序内部一点不了解 所以自己不敢乱写 打比方!

action/viewnews/itemid-368.html 80 - 61.135.168.6 baiduspider-cpro 200 0 0

action/viewnews/itemid-368.html 这个目录程序里根本就不存在 SS程序是如何让蜘蛛抓取的!很多问题!

希望高手 和 官方可以给一些提示和解答 在这对 各位说声谢谢了!


html/
function/
channel/
attachments/
source/


目前除了 这4个 目录没屏蔽 其他的目录都屏蔽了! 这4个可以屏蔽么?

还是除了  /index.php 之外的所有文件和目录都可以屏蔽

我查看了下日志  蜘蛛每次抓去 都是 /index.php 开头的

## robots.txt for Zentendo# Version 7.5.0#User-agent: *Allow: .html$Allow: /index.phpDisallow: /*?*Disallow: /*page*Disallow: /*tag*Disallow: /*pollid*Disallow: /*announcement*Disallow: /uc_center/Disallow: /uc_client/Disallow: /admin/Disallow: /api/Disallow: /attachments/Disallow: /cache/Disallow: /channel/Disallow: /class/Disallow: /css/Disallow: /data/Disallow: /function/Disallow: /html/Disallow: /images/Disallow: /include/Disallow: /install/Disallow: /language/Disallow: /log/Disallow: /model/Disallow: /mthemes/Disallow: /source/Disallow: /styles/Disallow: /templates/ 楼主这样写吧,我帮你测试了十几天了,确定这样有效!

悬赏了金币之后 我一下掉级了

大致应该是这样的：

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /channel/
Disallow: /attachments/
Disallow: /channel/
Disallow: /images/
Disallow: /include/
Disallow: /language/
Disallow: /class/
Disallow: /?
Disallow: /css/
Disallow: /templates/
Disallow: /function/
Disallow: /data/
Disallow: /styles/
Disallow: /source/
Disallow: /model/
Disallow: /mthems/
Disallow: /log/

可能还有疏漏，总之一个原则，robot.txt只写不允许搜索抓取的地址，如上面的 /? 策略就是指凡是：你的域名/?* 这类的地址均不抓取，其他的请自行参考。

Disallow: /*?*

Disallow: /?*
Disallow: /*?

Disallow: /?

这些有什么区别 哪个 更适合 SS

不知你问题解决了吗？
我也是同样的问题呀？
不想让它收录动态URL啊!!!

问题没解决 反倒 把蜘蛛 全部弄成了 200 0 64 我一急又把 文件删了!真的没专业的人来告诉我们么?