做爬虫开发和运维这么多年，最让我头大的事儿，莫过于爬虫被封禁了——轻一点的，单个 IP 废了、采集任务卡壳；严重点的，整个爬虫集群被拉黑，之前熬夜搭的体系全白费，甚至还可能有法律风险。刚入门那会，我总觉得只要频繁换 IP、改 UA，就能搞定爬虫防封禁，直到踩了好几次坑才幡然醒悟：封禁从来不是突然找上门的，做好爬虫封禁预警、提前盯着点爬虫健康指标，就能把风险掐在苗头里。

给大家说个我踩过的坑吧，有一次做电商爬虫，突然一堆请求全返回 429，没一会儿 IP 就全被拉黑了。后来复盘才发现，其实封禁前 1 小时，就有 3% 的请求出现“访问频繁”的提示，只是我没做爬虫封禁预警，也没及时降速，硬生生把 IP 作没了。还有一次，爬虫节点 CPU 跑满了，请求延迟得不行，被网站误判成异常请求，连带着 IP 也被封了。这些坑踩多了，我就搭了一套实用的爬虫健康监控体系，既能做好爬虫防封禁，又能及时预警风险，今天就掏心窝子分享给大家，新手也能直接照搬用。

我必盯的 6 类核心监控指标

日常运维的时候，我没那么多精力盯一堆没用的数据，就重点看这 6 类指标，基本能覆盖绝大多数封禁场景。每类我都附上自己实战总结的预警阈值和处理技巧，既能精准做好爬虫封禁预警，也能从根源上搞定爬虫防封禁，一点不啰嗦。

（一）请求响应指标：最直接的“预警灯”

爬虫和网站打交道，核心信号全在请求响应里，这是做好爬虫封禁预警最关键的环节，也是最容易发现异常、帮我们做好爬虫防封禁的重点，盯紧它准没错。

状态码异常率：重点盯 403、429、401、503 这几个容易触发封禁的状态码，我自己定的规矩是：单类异常占比≥5%，或者所有异常加起来≥10%，就赶紧警惕。实操小技巧很简单：429 就是请求太急了，降速就好；403 是 IP 或请求头被拉黑，换 IP、更请求头就行；503 建议先停爬，别硬刚，这些小细节都能帮我们提升爬虫防封禁的效果。

响应内容关键词匹配率：多留意响应里的“访问频繁”“风控”“验证码”这些词，只要匹配率≥3%，或者连续 10 次都出现同一个词，就赶紧启动爬虫封禁预警。处理方法也很简单：出现“验证码”，换个 IP、调一下请求间隔；出现“风控”这类词，就同时换 IP 和 UA，快速避坑，做好爬虫防封禁。

补充一句：日志是监控体系的核心，不管用哪种框架，我都会开完整日志，把状态码、响应文本这些关键信息存好，后续复盘优化也方便，能进一步完善爬虫封禁预警机制，让爬虫防封禁做得更到位。

（二）IP 与代理健康指标：避免“牵一发而动全身”

IP 封禁应该是最常见的反爬手段了，尤其是分布式爬虫，做好 IP 监控就是爬虫防封禁的核心，也是做好爬虫封禁预警的基础。我就重点盯 3 点，基本能避开 IP 相关的封禁坑。

IP 可用率：盯着代理 IP 池里能正常返回 200 状态码的 IP，只要可用率≤80%，或者单个 IP 连续 3 次失败，就启动爬虫封禁预警，直接把失效 IP 删掉。可用率突然下降，要么是 IP 池质量差（被好多人共用），要么是请求太频繁，赶紧换一批 IP 就好，能帮我们做好爬虫防封禁。

IP 请求频率：单个 IP 的 QPS 控制在 1-5 就够了，电商网站严一点，就设 1-2；个人博客宽松，设 5-10 就行。另外，请求间隔别太死板，一定要随机，也别频繁切换 IP 的地域和账号，这些小细节能让爬虫更隐蔽，爬虫防封禁效果也更好。

IP 地域与运营商稳定性：正常人上网，地域和运营商不会频繁变吧？我定的规矩是，1 小时内地域切换≥3 次，或者运营商切换≥2 次，就启动爬虫封禁预警，尽量模拟人类的网络状态，减少被识别的风险，助力爬虫防封禁。

（三）请求头健康指标：别让“身份”暴露

很多新手被封，都是因为请求头不规范，这也是爬虫防封禁的常见盲区。做好请求头监控，既能完善爬虫封禁预警，也能避免暴露爬虫身份，少走很多弯路。

请求头完整性：User-Agent、Cookie、Referer、Accept 这四个核心字段，一个都不能少，只要缺失率≥1%，就启动爬虫封禁预警。我从来不会留空字段，也不用框架默认的 UA，这样能降低被识别的概率，帮我们做好爬虫防封禁。

UA 多样性：我自己维护了一个 UA 池，只要单个 UA 的使用占比≥80%，或者 1 小时内没换过 UA，就启动爬虫封禁预警，定期随机换一换，避免被网站批量识别，给爬虫防封禁打牢基础。

（四）行为特征指标：尽量模拟人类操作

现在反爬越来越严，光换 IP、改 UA 已经不够了，爬虫行为监控也成了爬虫防封禁的关键，也是爬虫封禁预警的重要维度。要是爬虫行为太像机器人，很容易被封，我就重点盯两个维度，让爬虫尽量贴近人类操作。

访问路径合理性：咱们正常人上网，都是先看主页、再看列表页、最后看详情页，爬虫也得这么来。只要直接访问详情页的占比≥60%，就启动爬虫封禁预警，别直接深爬，避免触发风控。通过科学的爬虫行为监控，能大大提升爬虫防封禁的效果。

请求间隔与停留时间：请求间隔别小于 1 秒，还得随机波动；动态爬虫的话，在页面上多停留一会儿，至少 0.5 秒，别匀速请求、不留停留时间，不然一眼就被看出是机器人。完善爬虫行为监控，既能助力爬虫防封禁，也能及时做好爬虫封禁预警。

（五）系统资源指标：避免爬虫自身出问题

很多时候，爬虫被封不是因为网站反爬，而是自己出了问题——资源过载导致请求延迟，被网站误判成异常请求。这也是爬虫防封禁的易忽略点，做好资源监控，能及时启动爬虫封禁预警，避免这种间接封禁。

CPU 与内存使用率：只要 CPU≥80%、内存≥85%，而且持续 10 分钟以上，就启动爬虫封禁预警，赶紧扩容服务器，或者减少点任务量，避免请求延迟，给爬虫防封禁扫清自身障碍。

任务队列深度：要是任务队列堆了≥1000 个任务，或者持续增长 1 小时以上，就启动爬虫封禁预警，赶紧排查问题——要么是请求失败太多，要么是处理速度跟不上，别让它一直重试，不然容易被限流，影响爬虫防封禁。

（六）账号与会话指标：登录类爬虫必盯

要是做电商、社交平台这类需要登录的爬虫，账号和会话的监控就特别重要，这是这类爬虫防封禁的核心，也是做好爬虫封禁预警的关键，别让账号被封牵连了 IP。

Cookie 有效性：只要 Cookie 失效率≥5%，或者连续 3 次用同一个 Cookie 请求失败，就启动爬虫封禁预警，赶紧更新登录态，别一直用失效的 Cookie，不然容易触发风控，做好登录类爬虫的防封禁工作。

账号异常行为：单个账号的 QPS 别超过 3，1 小时内登录次数也别超过 5 次，不然就启动爬虫封禁预警，控制好操作频率，别把账号搞封了，不然连 IP 都可能受牵连，进一步完善爬虫防封禁体系。

我踩过的 3 个监控坑，大家别再犯

阈值别“一刀切”：不同网站的反爬严格度不一样，电商严、博客松，先拿浏览器模拟请求，测试下网站的耐受度，再设合理的阈值，不然会影响爬虫封禁预警的效果，不利于爬虫防封禁。

别单看一个指标：偶尔出现 1-2 次异常，可能只是网站临时波动，别慌，结合多个指标一起判断，避免误判，确保爬虫封禁预警精准，更好地做好爬虫防封禁，尤其是爬虫行为监控相关的指标，一定要结合其他维度综合看。

日志要长期留存：我一般会存 1 个月以上的日志，要是被封了，拉取封禁前后 10 分钟的日志，就能快速找到原因，避免再踩同样的坑，还能进一步优化爬虫封禁预警机制和爬虫行为监控策略，提升爬虫防封禁的能力。

做爬虫这么久，我最大的心得就是：爬虫防封禁，真的比被封后再补救省心太多。搭一套完善的监控体系，做好爬虫行为监控和精准的爬虫封禁预警，本质上就是让爬虫模仿人类的操作、贴合网站的规则，从根源上降低封禁风险。新手不用一开始就搞复杂的，先盯紧这 6 类核心指标，用简易方案练手，慢慢升级，科学监控，才能让爬虫长期稳定运行，真正实现高效的爬虫防封禁。