请教一下robots.txt怎么写

??~?? · 发表于 2020-5-13 01:18:53

我的几个万个网页谷歌就收了一千多个，其余的都被这个文件屏蔽了，这个文件应该怎么改过来、！

evilvoy · 发表于 2020-5-13 02:39:44

正常帖子页地址根本不会包括 /misc.php

都是thread-Xxx-1.html

只要没屏蔽 /thread-* 和 /forum-* 就不是robots.txt的问题

??~?? · 发表于 2020-5-13 10:33:04

把这三个屏蔽的删除可以不

jiangchuankyo · 发表于 2020-5-13 23:53:15

本帖最后由 jiangchuankyo 于 2020-5-21 10:50 编辑

search.php 可以disabled了

复制代码

??~?? · 发表于 2020-6-6 20:21:45

jiangchuankyo 发表于 2020-5-13 23:53
search.php 可以disabled了

谢谢把你的屏蔽规则在发一遍可以吗，这几天发现老是抓取个人资料

		自动登录	找回密码
密码			立即注册