Discuz!官方免费开源建站系统

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索

discuz后台的robots.txt文件禁止抓取的是那些东西?

[复制链接]
shangwuzhijing 发表于 2013-4-28 22:51:24 | 显示全部楼层 |阅读模式
如题,我网站程序刚上传,不想让搜索引擎抓取,就打算写个robots.txt禁止所有搜索引擎搜索站内任何文件,等内容充实点的时候在恢复,可我用FTP上传的时候发现已经有个robots文件了,如下,这些是禁止抓取什么的?如果我想禁止搜索引擎抓取所有,修改这个文本就可以了吗?

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
otherbank 发表于 2013-5-3 11:21:53 | 显示全部楼层
可以,这样写就可以了:
User-agent: *
Disallow: /
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|小黑屋|Discuz! 官方站 ( 皖ICP备16010102号 )star

GMT+8, 2025-3-5 00:54 , Processed in 0.021582 second(s), 3 queries , Gzip On, Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.

快速回复 返回顶部 返回列表