robots.txt 怎样写禁止收录个人空间和动态页面？

wsjnyy · 发表于 2011-11-26 12:01:38

最近我才发现X2的TAG标签好像不被收录，是不是在Robots里设置禁止爬行了呢？请看下面是我的Robots,我想让搜索引擎爬行收录TAG标签。另外我不想让搜索引擎收录会员的个人空间页面。还有就是重复的动态链接该怎么处理呢？请高手们帮帮忙谢谢了。

半小时前上传
下载附件 (118.92 KB)

我的robots.txt

# robots.txt for Discuz! X2
#
User-agent: *
Disallow: /api/
Disallow: /source/
Disallow: /install/
Disallow: /template/
Disallow: /config/
Disallow: /uc_client/
Disallow: /uc_server/
Disallow: /static/
Disallow: /404.htm
Disallow: /admin.php
Disallow: /search.php
Disallow: /member.php
Disallow: /api.php
Disallow: /misc.php
Disallow: /connect.php
Disallow: /forum.php?mod=redirect*
Disallow: /forum.php?mod=post*
Disallow: /home.php?mod=spacecp*
Disallow: /userapp.php?mod=app&*
Disallow: /*?mod=misc*
Disallow: /*?mod=attachment*
Disallow: /*mobile=yes*

将相 · 发表于 2011-11-26 12:08:54

空间收录却是很多

seazor · 发表于 2011-11-26 13:22:10

加上Disallow: /home.php

aiqiqi · 发表于 2011-11-26 13:33:51

大家什么看法？我先支持

影子的传说 · 发表于 2011-11-26 13:42:00

Disallow: /*?*
一句即可

daxing · 发表于 2011-11-26 14:10:05

提示: 作者被禁止或删除内容自动屏蔽

淘乐部 · 发表于 2011-11-27 02:10:13

说的不错，支持一下！

盖浇饭 · 发表于 2012-1-16 22:18:39

顶，这个问题咋整？我的也是这样啊

book39 · 发表于 2012-1-16 22:20:30

做网站不容易啊

萧过无痕 · 发表于 2012-1-16 23:34:33

嗯，了解一下了

		自动登录	找回密码
密码			立即注册

[求助] robots.txt 怎样写禁止收录个人空间和动态页面？