做爬虫开发和运维这么多年，最让我头大的事儿，莫过于爬虫被封禁了——轻一点的，单个 IP 废了、采集任务卡壳；严重点的，整个爬虫集群被拉黑，之前熬夜搭的体系全白费，甚至还可能有法律风险。刚入门那会，我总觉得只要频繁换 IP、改 UA，就能搞定爬虫防封禁，直到踩了好几次坑才幡然醒悟：封禁从来不是突然找上门的，做好爬虫封禁预警、提前盯着点爬虫健康指标，就能把风险掐在苗头里。给大家说个我踩过的坑吧，有一次做电商爬虫，突然一堆请求全返回 429，没一会儿 IP 就全被拉黑了。后来复盘才发现，其实封禁前 1 小时，就有 3% ...