dz3.3转https之后发现重大问题！robots封禁无效？

找到原因了，没有去百度站长平台更新robots.txt
#
# robots.txt for Discuz! X3
#

User-agent: *
Disallow: /api/
Disallow: /data/
Disallow: /source/
Disallow: /install/
Disallow: /template/
Disallow: /config/
Disallow: /uc_client/
Disallow: /uc_server/
Disallow: /static/
Disallow: /admin.php
Disallow: /search.php
Disallow: /member.php
Disallow: /api.php
Disallow: /misc.php
Disallow: /connect.php
======================================


因为这些页面都暴露在外，所以也就没放前面的域名了。
robots内容的前几句，多的不写，就这几个试了试，然后后台发现蜘蛛还在抓抓取页面，
求解答，全站https后，怎么写robots不让蜘蛛乱抓？？？？？？


在线等，救命啊！！！蜘蛛乱抓啊，还有用户空间首页，那东西全是重复的啊，怎么封也封不住。。。


@格东站长网插件  @民审大大 @crx349  @传译工作室 @howfarstudio @mandy~ @hn.yhw

在线等，求解答！！！！这问题太大了呀~~~~~~
现在是10月2号4点半，还在在线等啊，各位大大给个可行方案呗！

在线等，求解答！！！！这问题太大了呀~~~

我对你的遭遇深表同情，不过我对此问题无能为力。百度那些蜘蛛很大可能无视规则。

黄建文 发表于 2017-10-2 18:05
我对你的遭遇深表同情，不过我对此问题无能为力。百度那些蜘蛛很大可能无视规则。

找到原因了，没有去百度更新robots.txt