Discuz!官方免费开源建站系统

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索

请教一下robots.txt怎么写

[复制链接]
??~?? 发表于 2020-5-13 01:18:53 | 显示全部楼层 |阅读模式
我的几个万个网页谷歌就收了一千多个,其余的都被这个文件屏蔽了,这个文件应该怎么改过来、!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
evilvoy 发表于 2020-5-13 02:39:44 | 显示全部楼层
正常帖子页地址根本不会包括 /misc.php

都是thread-Xxx-1.html

只要没屏蔽 /thread-*  和 /forum-* 就不是robots.txt的问题
回复

使用道具 举报

 楼主| ??~?? 发表于 2020-5-13 10:33:04 | 显示全部楼层
把这三个屏蔽的删除可以不

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

jiangchuankyo 发表于 2020-5-13 23:53:15 | 显示全部楼层
本帖最后由 jiangchuankyo 于 2020-5-21 10:50 编辑

search.php 可以disabled了

复制代码
回复

使用道具 举报

 楼主| ??~?? 发表于 2020-6-6 20:21:45 | 显示全部楼层
jiangchuankyo 发表于 2020-5-13 23:53
search.php 可以disabled了

谢谢把你的屏蔽规则在发一遍可以吗,这几天发现老是抓取个人资料
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|小黑屋|Discuz! 官方站 ( 皖ICP备16010102号 )star

GMT+8, 2024-11-22 20:54 , Processed in 0.018396 second(s), 3 queries , Gzip On, Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.

快速回复 返回顶部 返回列表