为什么谷歌总是在抓取分类信息字段？

lucifer2017 · 发表于 2019-4-17 11:44:50

最近一个月以来谷歌爬虫到我的网站后一直在抓取分类信息字段，在不同的组合中不断的抓取，每分钟有五六十次之多。而普通的帖子和文章页却三四天不收录。以前基本上一个小时内就会收录。一个多月以来谷歌搜索引擎一直爬分类信息不同字段的组合而很少爬普通帖子和文章，目前这个状况已经很影响SEO了
如图

请问各位前辈，这该如何解决？

如果要给分类信息字段加nofollow的话可以不？如果可以，该如何操作？

lucifer2017 · 发表于 2019-4-18 11:49:15

到目前为止，谷歌爬虫仍然在不断的爬分类信息的各种字段组合。持续一个多月了，平均每秒一次

dej.sf · 发表于 2019-4-18 12:26:37

在nginx里配置不更方便，对于user-agent为spider的做403处理

lucifer2017 · 发表于 2019-4-18 14:58:55

dej.sf 发表于 2019-4-18 12:26
在nginx里配置不更方便，对于user-agent为spider的做403处理

请教一下，具体咋弄？

lz49858007 · 发表于 2019-4-18 17:11:32

不知道这是怎么了

		自动登录	找回密码
密码			立即注册

[求助] 为什么谷歌总是在抓取分类信息字段？