Discuz!官方免费开源建站系统

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索

[求助] robots.txt 怎样写禁止收录个人空间和动态页面?

[复制链接]
wsjnyy 发表于 2011-11-26 12:01:38 | 显示全部楼层 |阅读模式
最近我才发现X2的TAG标签好像不被收录,是不是在Robots里设置禁止爬行了呢?请看下面是我的Robots,我想让搜索引擎爬行收录TAG标签。另外我不想让搜索引擎收录会员的个人空间页面。还有就是重复的动态链接该怎么处理呢?请高手们帮帮忙 谢谢了。
半小时前 上传
下载附件 (118.92 KB)



我的robots.txt

# robots.txt for Discuz! X2
#
User-agent: *
Disallow: /api/
Disallow: /source/
Disallow: /install/
Disallow: /template/
Disallow: /config/
Disallow: /uc_client/
Disallow: /uc_server/
Disallow: /static/
Disallow: /404.htm
Disallow: /admin.php
Disallow: /search.php
Disallow: /member.php
Disallow: /api.php
Disallow: /misc.php
Disallow: /connect.php
Disallow: /forum.php?mod=redirect*
Disallow: /forum.php?mod=post*
Disallow: /home.php?mod=spacecp*
Disallow: /userapp.php?mod=app&*
Disallow: /*?mod=misc*
Disallow: /*?mod=attachment*
Disallow: /*mobile=yes*
将相 发表于 2011-11-26 12:08:54 | 显示全部楼层
空间收录却是很多
回复

使用道具 举报

seazor 发表于 2011-11-26 13:22:10 | 显示全部楼层
加上Disallow: /home.php
回复

使用道具 举报

aiqiqi 发表于 2011-11-26 13:33:51 | 显示全部楼层
大家什么看法?我先支持
回复

使用道具 举报

影子的传说 发表于 2011-11-26 13:42:00 | 显示全部楼层
Disallow: /*?*
一句即可
回复

使用道具 举报

daxing 发表于 2011-11-26 14:10:05 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复

使用道具 举报

淘乐部 发表于 2011-11-27 02:10:13 | 显示全部楼层
说的不错,支持一下!
回复

使用道具 举报

盖浇饭 发表于 2012-1-16 22:18:39 | 显示全部楼层
顶,这个问题咋整?我的也是这样啊
回复

使用道具 举报

book39 发表于 2012-1-16 22:20:30 | 显示全部楼层
做网站不容易啊
回复

使用道具 举报

萧过无痕 发表于 2012-1-16 23:34:33 | 显示全部楼层
嗯,了解一下了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|小黑屋|Discuz! 官方站 ( 皖ICP备16010102号 )star

GMT+8, 2024-12-28 04:53 , Processed in 0.030554 second(s), 4 queries , Gzip On, Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.

快速回复 返回顶部 返回列表