Discuz!官方免费开源建站系统

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索

[已答复] 优化搜索引擎对7.5网站的收录,应该如何写robots.txt呢?

[复制链接]
kakashow 发表于 2009-11-16 11:10:20 | 显示全部楼层 |阅读模式
本帖最后由 kakashow 于 2009-11-16 14:02 编辑

下面是本人网站的robots.txt,请各位网友交流一下。
  1. # Robots.txt file from http://ddc.lvse.de
  2. # All robots will spider the domain

  3. User-agent: *
  4. Allow: /
  5. Disallow: /admin/
  6. Disallow: /do.php?action=click*
  7. Disallow: /batch.common.php?action=emailfriend*
  8. Disallow: /action-tag-tagid*
复制代码
现改为:
  1. # Robots.txt file from http://ddc.lvse.de
  2. # All robots will spider the domain

  3. User-agent: *
  4. Allow: /
  5. Disallow: /admin/
  6. Disallow: /*?
  7. Disallow: /action-tag-tagid*
  8. Disallow: /action-viewcomment*
复制代码
理红轩 发表于 2009-11-16 12:02:15 | 显示全部楼层
是个问题,帮顶~~
回复

使用道具 举报

ljbetter 发表于 2009-11-16 12:04:24 | 显示全部楼层
这个不懂,帮顶
回复

使用道具 举报

 楼主| kakashow 发表于 2009-11-16 12:55:10 | 显示全部楼层
高手来讨论一下啊
回复

使用道具 举报

bugx 发表于 2009-11-16 13:25:50 | 显示全部楼层
差不多评论的页面都屏蔽掉
回复

使用道具 举报

lidq.jingwu 发表于 2009-11-16 13:40:33 | 显示全部楼层
回复

使用道具 举报

 楼主| kakashow 发表于 2009-11-16 13:51:50 | 显示全部楼层
本帖最后由 kakashow 于 2009-11-16 14:06 编辑

多谢楼主。下面这个解决了我的大问题了。


要拦截对所有包含问号 (?) 的网址的访问(具体地说,这种网址以您的域名开头、后接任意字符串,然后接问号,而后又接任意字符串),请使用以下内容:
User-agent: Googlebot
Disallow: /*?



开启伪静态后,ss的公告、投票和评论页面都没有实现伪静态,页面里的地址都是带问号的动态链接,上述robots规则即可避免搜索引擎收录。另外还有“注册”“找回密码”“登陆”都可以屏蔽掉
回复

使用道具 举报

littlehz 发表于 2009-11-16 14:03:01 | 显示全部楼层
7# kakashow


    ?也是特殊字符,小心把任意地址都屏蔽了
回复

使用道具 举报

 楼主| kakashow 发表于 2009-11-16 14:07:55 | 显示全部楼层
不会吧?????
回复

使用道具 举报

 楼主| kakashow 发表于 2009-11-16 16:15:31 | 显示全部楼层
我就当一回试验品。明天看看效果
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|小黑屋|Discuz! 官方站 ( 皖ICP备16010102号 )star

GMT+8, 2024-11-16 09:07 , Processed in 0.029184 second(s), 4 queries , Gzip On, Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.

快速回复 返回顶部 返回列表