很重要:请官方写个正确的各版本,robots.txt设置

abd779 · 发表于 2012-4-25 20:16:39

本帖最后由 abd779 于 2012-4-25 20:20 编辑

请官方写个正确的各版本,robots.txt设置

哪些文件禁止爬.
禁止哪些,让一个帖子只收录一个链接地址(防重复收录)

以前听说https://discuz.dismall.com/robots.txt 的robots.txt 写错了
我们更容易写错.

请官方写个正确的各版本,robots.txt设置{:soso_e100:}
对网站收录很重要.

mudder2009 · 发表于 2012-4-26 06:49:33

自己写啊这东西还用官方写

吴光光 · 发表于 2012-4-26 13:02:21

很精典,谢谢! 难得的好贴

wanglida12 · 发表于 2012-4-26 16:17:13

你打开官方的看一下不就知道了

564484417 · 发表于 2012-4-26 17:17:11

看一下哈！

		自动登录	找回密码
密码			立即注册