PHP站群

网站公告

发布php站群最新的网站公告
PHP站群 >  网站公告

网站公告

【重要】屏蔽本站爬虫方法

2022-11-18 11:40:52网站公告
摘要:屏蔽本站蜘蛛爬虫(compatible;+Phpzhanqun/2.0;)的方法
如果您的网站日志log中出现了类似(compatible;+Phpzhanqun/2.0;)的爬虫信息,请仔细看下
我们研发的《老域名扫描软件》有一个核心就是派遣爬虫(类似百度爬虫)24小时不间断去全网扫描网站获取数据,如果您的网站不想被访问,请参考以下资料屏蔽,把这个代码放入网站配置文件中,重启http服务就可以了。
NGINX环境下请参考以下代码:
if ($http_user_agent ~* "phpzhanqun|AhrefsBot|BLEXBot"){ 
            return 403; 
 } 
---------------------
APACHE环境下请参考以下代码,加入.htaccess中去:
SetEnvIfNoCase ^User-Agent$ .*(phpzhanqun) BADBOT
Order Allow,Deny
Allow from all
Deny from env=BADBOT

--------------------------
如有不明白怎么弄的,请加客服咨询。多有打扰,深表歉意! 

未经允许不得转载:PHP站群 >  网站公告 > 【重要】屏蔽本站爬虫方法

发表评论