设为首页收藏本站

切换到宽版

Discuz!官方免费开源建站系统»论坛 › Discuz! 交流与讨论 › 站长帮 › 当爬虫不遵守 robots 协议时

Discuz! X3.5 正式版【2023-10-01】下载|Discuz! X 项目开源地址、问题反馈

发新帖

[新需求] 当爬虫不遵守 robots 协议时

范瑞龙 发表于 2018-3-19 15:57:19 | 显示全部楼层 |阅读模式

需求发布
金额范围:	10-50 元
预算金额:	10 元
开始时间:
结束时间:
联系方式:	隐藏内容

当爬虫不遵守 robots 协议时，有没有防止抓取的可能？

回复

使用道具举报

離れての時間 发表于 2018-3-19 16:03:38 | 显示全部楼层

不遵守robots协议的话，只能将其IP加入黑名单禁止访问，连协议都不遵守了，用robots.txt来限制肯定也不可能

回复

使用道具举报

发新帖

手机版|小黑屋|Discuz! 官方站 ( 皖ICP备16010102号 )

GMT+8, 2024-6-26 11:47 , Processed in 0.107775 second(s), 19 queries , Gzip On.

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.

快速回复 返回顶部 返回列表