屏蔽爬虫设置 作者: Hogwarts 发布于: 2025-11-19 更新于: 2025-11-19 分类: 默认分类 <!--more--> # 一、 ufw屏蔽 Censys 的 IP 段 vim ufw.sh chmod +x ufw.sh ./ufw.sh #!/bin/bash ufw deny from 66.132.159.0/24 ufw deny from 162.142.125.0/24 ufw deny from 167.94.138.0/24 ufw deny from 167.94.145.0/24 ufw deny from 167.94.146.0/24 ufw deny from 167.248.133.0/24 ufw deny from 206.168.34.0/24 ufw deny from 206.168.35.0/24 ufw deny from 2602:80d:1000:b0cc:e::/80 ufw deny from 2620:96:e000:b0cc:e::/80 ufw deny from 2602:80d:1003::/112 ufw deny from 2602:80d:1004::/112 ufw reload ufw status [censysIP段](https://docs.censys.com/docs/opt-out-of-data-collection#/ "censysIP段") # 二、屏蔽爬虫 Nginx if ($http_user_agent ~* (Scrapy|Curl|HttpClient|censys)) { return 403; } caddyV2 # 屏蔽扫描器/爬虫 UA @badbots { header_regexp User-Agent "(?i)censys|shodan|zoomeye|ahrefs|mj12|semrush|dotbot|libwww-perl|nmap|masscan|dirbuster|sqlmap|nikto|wpscan|whatweb|wget|fetch|httpclient|crawler|scrapy|httpx|netcraft|zgrab|nessus|openvas" } handle @badbots { respond "Access for bad crawlers denied" 403 { close } } Nginx和Caddy需同时屏蔽Censysd的IP和屏蔽爬虫（此文未列出），不如UFW直接屏蔽Censys的IP方便，但可以更多的屏蔽其它爬虫。推荐UFW屏蔽CensysIP和Web屏蔽爬虫一起使用。 [屏蔽 Censys，防止源站 IP 泄露](https://jmdonj.com/%E5%B1%8F%E8%94%BD-censys%EF%BC%8C%E9%98%B2%E6%AD%A2%E6%BA%90%E7%AB%99-ip-%E6%B3%84%E9%9C%B2.html "屏蔽 Censys，防止源站 IP 泄露") [Caddy2 反代](https://blog.mochen.one/archives/121 "Caddy2 反代") [防止CDN后的源站IP泄漏的几种方法](https://hostalk.net/posts/nginx_cdn.html "防止CDN后的源站IP泄漏的几种方法") 标签: none