Discuz!官方免费开源建站系统

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索

关于使用dX2.5出现搜索引擎收录大批量“提示页面”的问题

[复制链接]
苹果豆浆 发表于 2012-5-10 10:04:05 | 显示全部楼层 |阅读模式
一排排全是收录的“提示信息- 7主酷论坛淘宝装修运营交流平台- Powered by Discuz!”,当时我就纳闷儿了,然后就点进去链接看看,发现全都是错误链接或者板块已删除!我在测试论坛的时候,完全没有进行删减帖子啊,怎么会出现这个状况,收录如图:


然后我就满怀希冀的去看robots文件,希望是文件漏掉了什么,一检查发现都完好啊,可是为什么搜索引擎还会认为页面地址没有屏蔽而继续收录呢?是robots.txt的协议不管用了?
我就试着继续往目录里面添加屏蔽路径,因为收录的都是类似于这样的www.7zcool.com/home.php?mod=space&uid=
所以我就写了两条,内容如下:
  • Disallow: /home.php?mod=spacecp*
  • Disallow: /home.php?mod=space&uid=*

复制代码
原来的robots文件里有一行是针对这个的,我还以为是这个不管用
  • Disallow: /home.php?*

复制代码
更改后的robots.txt文件内容如下:
  • User-agent: *
  • Disallow: /api/
  • Disallow: /data/
  • Disallow: /source/
  • Disallow: /install/
  • Disallow: /template/
  • Disallow: /config/
  • Disallow: /uc_client/
  • Disallow: /uc_server/
  • Disallow: /static/
  • Disallow: /admin.php
  • Disallow: /search.php
  • Disallow: /member.php
  • Disallow: /api.php
  • Disallow: /misc.php
  • Disallow: /connect.php
  • Disallow: /forum.php?mod=redirect*
  • Disallow: /forum.php?mod=post*
  • Disallow: /home.php?*
  • Disallow: /home.php?mod=spacecp*
  • Disallow: /home.php?mod=space&uid=*
  • Disallow: /userapp.php?mod=app&*
  • Disallow: /*?mod=misc*
  • Disallow: /*?mod=attachment*
  • Disallow: /*mobile=yes*
  • Disallow: /archiver/?tid-384.html
  • Disallow: /forum.php?mod=viewthread&tid=701&pid=948&page=1&extra=page%3D1

复制代码
弄好以后我想这下应该好了吧,经过一天一夜,谷歌还是没有吧收录的“提示页面”删除掉,我当时就无语了,擦 ,都这样子搞了,还不管用,见鬼了真是。

好吧,我承认我失败了,就来论坛搜搜有没有答案,发现全都是些问的,没有处理的,那个郁闷啊!

希望能给个答案撒,呵呵

m.king 发表于 2012-5-10 16:25:41 | 显示全部楼层
这种连接 你可以屏蔽掉 不让蜘蛛抓取。
回复

使用道具 举报

m.king 发表于 2012-5-10 16:25:49 | 显示全部楼层
这种连接 你可以屏蔽掉 不让蜘蛛抓取。
回复

使用道具 举报

 楼主| 苹果豆浆 发表于 2012-5-11 09:45:43 | 显示全部楼层
m.king 发表于 2012-5-10 16:25
这种连接 你可以屏蔽掉 不让蜘蛛抓取。

我是用robots去屏蔽了哦,但是不起作用哦,不知道怎么办了~~
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|小黑屋|Discuz! 官方站 ( 皖ICP备16010102号 )star

GMT+8, 2025-2-24 16:32 , Processed in 0.024388 second(s), 4 queries , Gzip On, Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.

快速回复 返回顶部 返回列表