设为首页收藏本站

切换到宽版

Discuz!官方免费开源建站系统»论坛 › Discuz! 交流与讨论 › Discuz!-安装使用 › 环境搭建 › 请教robots 的语法，限制爬虫访问时间

Discuz! X3.5 正式版【2023-10-01】下载|Discuz! X 项目开源地址、问题反馈

发新帖

请教robots 的语法，限制爬虫访问时间

np163net 发表于 2008-11-5 16:23:03 | 显示全部楼层 |阅读模式

有谁熟悉 robots 的语法
我想把各个搜索引擎的爬虫限制在北京时间 1:00 - 6:00 访问我的网站
目前服务器堪重负，只好禁止全部搜索爬虫。

User-agent: *
Disallow: /

回复

使用道具举报

发新帖

手机版|小黑屋|Discuz! 官方站 ( 皖ICP备16010102号 )

GMT+8, 2024-11-18 15:48 , Processed in 0.021670 second(s), 3 queries , Gzip On, Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.

快速回复 返回顶部 返回列表