apoyl 发表于 2021-6-7 11:29:15

百度抓取加密版块实现蜘蛛可访问有权限版块,普通用户不能

百度抓取加密版块:网站某些版块有权限才能进去,但想被百度(爬虫)抓取收录,普通用户还是按照原本方式进入;简单来蜘蛛可访问有权限版块,普通用户不能。请看具体功能概述及应用功能部分截图更直观。

功能概述:
1、支持手机版和电脑版开启某些版块被百度(爬虫)抓取有权限版块的主题,并且普通用户还是按照原本方式进入
2、支持百度蜘蛛、360蜘蛛、头条蜘蛛、搜狗蜘蛛等抓取有权限版块,也可以根据需要开启或者关闭
3、支持GOOGLE蜘蛛、bing蜘蛛等抓取有权限版块,也可以根据需要开启或者关闭
4、有权限指:版块里开启权限相关 如:付费价格、访问密码、权限表达式设置、浏览版块
5、开启此插件后,(如百度、google等)蜘蛛抓取密码版块主题内容,其他用户不能
6、开启此插件后,(如百度、google等)蜘蛛抓取付费版块主题内容,其他用户不能
7、开启此插件后,(如百度、google等)蜘蛛抓取、权限表达式版块主题内容,其他用户不能


应用地址:https://addon.dismall.com/plugins/apoyl_crawlforum.html




https://addon.dismall.com/?ac=image&aid=dGh1bWJ8MzUwMzZ8MHwwfDB4MHwxNjIzMDM2NDk4&k=ad10964d455daf20&PHI_uDKdJK
https://addon.dismall.com/?ac=image&aid=dGh1bWJ8MzUwMzZ8MHwxfDB4MHwxNjIzMDM2NDk4&k=31edf1c50157516c&PHI_uDKdJK
https://addon.dismall.com/?ac=image&aid=dGh1bWJ8MzUwMzZ8MHwyfDB4MHwxNjIzMDM2NDk4&k=8339922ea26390f6&PHI_uDKdJK
https://addon.dismall.com/?ac=image&aid=dGh1bWJ8MzUwMzZ8MHwzfDB4MHwxNjIzMDM2NDk4&k=789289320ca52d9a&PHI_uDKdJK
https://addon.dismall.com/?ac=image&aid=dGh1bWJ8MzUwMzZ8MHw0fDB4MHwxNjIzMDM2NDk4&k=a59744a673b1d174&PHI_uDKdJK
页: [1]
查看完整版本: 百度抓取加密版块实现蜘蛛可访问有权限版块,普通用户不能