网站标签(tag)搜索引擎收录时全部提示403 Forbidden

很奇怪的问题，标签(tag)页面在浏览器上是能正常访问的，但是各大站长工具（谷歌，百度，bing）后台抓取错误都提示，所有的标签页面都是403 Forbidden。后来又再次使用搜索蜘蛛、机器人模拟工具测试了一下，结果仍然是提示(403) Forbidden。




然后经过一系列的排查，还是找不到问题所在。最后测试了一下其它dz论坛的标签页面，结果和自己的都是一样，搜索蜘蛛、机器人模拟工具测试都是(403) Forbidden。

求解！！！

没人解答吗？

直接访问是否正常呢

ARCHY` 发表于 2013-9-21 10:17
直接访问是否正常呢

标签(tag)页面在浏览器上是能正常访问的。

403只是针对搜索引擎索引。很奇怪的一个问题。

居然没人响应，难道大家的标签页面都被收录了？？？

参考出处 https://discuz.dismall.com/forum.php?mod=redirect&goto=findpost&ptid=2669346&pid=23545027

官方有意为之：
程序在misc.php中做了处理
$discuz->reject_robot();

1. function reject_robot() {
   
2.                 if(IS_ROBOT) {
   
3.                         exit(header("HTTP/1.1 403 Forbidden"));
   
4.                 }
   
5.         }
   

复制代码

mrsaner 发表于 2013-9-26 08:30
参考出处 https://discuz.dismall.com/forum.php?mod=redirect&goto=findpost&ptid=2669346&pid=23545027

官 ...

总算明白了，谢谢！