discuz基础优化实践(三) robots.txt使用及其它

robots.txt使用

User-agent: *

#禁止一个版面的收录
#如果有个水版，不想禁止游客权限，也不想SE收录，已免影响网站质量，可以用如下方法
Disallow: /forum-1-

#数字即为要禁止版块的ID。
#注意数字最后的 - 不要省略，否则连ID为11，12等1开头的版都禁了
[更新]补充方法：再给内容页加meta robot禁止

#再禁网页复制
Disallow: /viewthread.php
#这个是内容页的动态形式，前面对伪静态做了优化并修改了很多的复制网页，因此这里动态形式如打印页等一定要禁止

Disallow: /forumdisplay.php
#这个要慎重：列表页的动态形式，还包括精华、活动、投票等形式。我发现5.0的静态化不彻底，它的上一页下一页翻页仍是动态，这样如果禁止了，十页之后的内容就不能通这索引了。所以如果您站内的交差链接不丰富的话，不要在此禁止，以免影响收录。

hekaiyu说没有这个问题，去官方看了下5.5的确没问题(也许我的5.0本来没问题，也许官方在新版本中完善了正则表达式的替换规则)，这样更好了，禁止它，又干净了好多

#禁止其它无用内容
Disallow: /profile
#用户信息，不知为什么discuz也静态化了，一律禁止
Disallow: /relatethread
Disallow: /post
Disallow: /blog
Disallow: /member
Disallow: /misc
Disallow: /faq
Disallow: /my
Disallow: /pm
Disallow: /digest
Disallow: /status
# ... ... 等等
# ----- robots.txt end ------
[更新]dz5.5的robots.txt后部分给出的Disallow: post.php等是不合规范的，一定要在前面加上"/"。>>详细说明

首页URL问题

后台基本设置->首页文件名如果不设置，会默认为index.php。所以站内到首页的链接为形式为http://domain/index.php。而我们一般引用论坛首页或交换链接的形式一般是http://domain/。实际是一样的，但SE可认为是两个URL,而且一个拥有很多的内部链接，一个拥有较多的外部链接，所以哪个被降级都不是好事情，最好统一起来。这里的修改目标是http://domain/的形式。

1.进入后台，基本设置->首面文件名 设置为： /
2.修改文件 member.php 将 header("Location: {$boardurl}".$indexname); 替换为
if( $indexname=='/'){
    header("Location: {$boardurl}");
}else{
    header("Location: {$boardurl}".$indexname);
}
[更新]dz5.5为dheader

此修改处的功能是清除cookies后返回到首页，如不修改域名后就有两个/。暂时未发现使用/当首页文件名的其它问题


结 束

除了文件的修改，有些地方要配合后台设置，前面都提到了，这里总结一下。主要有：1.URL静态化，只启用普通页面静态化就可以了；2.不要启用Archiver功能；3.后台的keywords和description设置只是针对首页的（如果您没做列表页和内容页的meta修改则也应用到它们）;4.后台首页文件名为/（当然您也可以设置自己特定的）

Discuz的SEO到此就告一段落了。想想当初发现和解决这些问题还真花了不少力气呢，不过了解了discuz，了解了php,了解了seo，呵呵

欢迎各位提出意见和问题。

-------- END --------

欢迎各位提出意见和问题

User-agent: *
Disallow: /wap/
Disallow: /admincp.php
-------------------------------------------------
请问：这几行是什么意思啊？？

禁用蜘蛛访问手机wap页面和禁用蜘蛛访问后台管理页面

还不错，支持继续优化

全面disucz SEO优化文章在SEO论坛更新。
这个早先的robots.txt优化还是很有用的，特别是禁止一个开放的版本。