上个月跑一个商品采集任务,前半小时还挺顺,我去泡了杯咖啡回来,日志里已经全是 403。重试队列越堆越多,换手机热点、重启路由器都没用。一开始我以为代码出问题了,排查半天才确认:IP 被目标站风控了。做爬虫久了,这种情况基本躲不开。关键不是慌,而是先止损,再想怎么长期防。下面按“应急处理”和“日常预防”两块,聊聊我实际用过的方法。

一、IP 被封后,先别反复重试
停掉爬虫:发现 403 或超时,第一件事是停掉请求线程。继续重试只会让风控加重,临时封禁也可能变永久,甚至影响整个网段。
判断封禁类型:临时封禁最常见,通常是请求太频繁或节奏太机械。表现是换设备、连热点也打不开,一般静置 1~24 小时会恢复。
永久封禁多因高频暴力抓取、批量遍历接口。放几天仍打不开,原 IP 基本救不回来,只能换 IP。
三种应急办法
换网络:断开原宽带,连手机热点、随身 WiFi,或重启路由器。很多家庭宽带是动态 IP,重启后可能直接换新 IP。
用代理兜底:着急继续跑,就用短效优质代理替换请求 IP。注意,代理访问也 403,往往不是代理失效,而是代理质量差。免费代理延迟高、存活低,很多已被拉黑,越用越糟。
静置等待:没代理就停跑。中小网站 4~12 小时,大平台一般 24 小时内会解。这段时间可以回头优化代码,别空等。
二、为什么你的 IP 总被盯上
很多人被封后只会换 IP,结果陷入“封了换、换了封”。常见原因其实就几个:
请求节奏太固定,比如严格 1 秒 1 次,像机器人;
单 IP 短时间请求过多,超过正常用户访问量;
请求头不完整,缺 UA、Cookie,或一直用同一个 UA;
并发拉满,多线程、协程无间隔请求;
盲目遍历分页、ID 或敏感接口,直接触发风控。
风控不只看 IP,也看行为。行为像爬虫,换多少 IP 都容易再被封。
三、长期防封,重点做这几件事
让请求节奏像真人
别用固定 sleep,改成随机休眠,比如 1~3 秒,部分场景拉到 5 秒以上。单 IP 对中小网站每秒别超过 2 次,大平台再降。慢一点,反而更稳。
请求头要完整并轮换
每次带上 User-Agent、Referer、Accept 等。UA 不要只用一个,准备一批常见浏览器 UA 随机切换。裸奔请求很容易被识别。
合理使用代理 IP
大规模、长时间采集,单 IP 早晚会被限流。可以搭个简易代理池,定时筛有效 IP,自动轮换。优先短效动态代理,避开免费代理池。再加上失败自动重试、自动切换,稳定性会好很多。
控制并发
别为了提速把线程和协程拉满。小网站低并发、长间隔;大平台适度提高,但不要暴力请求。无差别遍历接口也要避免。
延迟重试,别硬刚
遇到 403、超时、连接失败,不要立刻重试。先休眠更久,再换 IP 和 UA。多次失败就跳过,别死磕一个请求。
守网站规则
爬之前看 robots 协议,避开禁止目录和接口。高峰期风控更严,凌晨或低峰期通常更稳。
四、最后说点实在的
爬虫拼的不是速度,是稳定。盲目提速只会频繁触发风控,耽误项目。遇到 IP 被封,先停、换网络或用代理应急;日常把节奏、请求头、并发和代理池做好。慢一点、稳一点,才能长期拿到数据。新手照这套做,大多数 IP 封禁坑都能避开。
行业新闻查看更多
- 1
宽带越普及,好用的动态代理 IP 为何反而越难找?
- 2
为什么免费代理 IP 总是失效?3 个核心原因终于找到了
- 3
别再只以为代理 IP 只用来爬虫!AI 时代它才是隐形基建
- 4
免费代理IP常见故障汇总:连接失败、延迟高的快速解决办法
- 5
2026 海外代理 IP 市场资讯:跨境数据采集合规全面收紧
- 6
代理IP干货:电商卖家如何安全监测竞品、防关联?
- 7
2026最新:数据采集为什么必须用国内代理IP?附免费资源推荐
- 8
免费代理 IP 会泄露个人信息吗?安全使用技巧一文看懂
- 9
代理 IP 不止爬虫:社交媒体账号矩阵运营也离不开它
- 10
现在企业买代理IP,是更爱隧道代理还是传统IP池?市场趋势小调研
爬虫探索查看更多
- 1
搞懂代理IP响应时间:为什么有的代理 IP 能用但慢?如何筛选出速度快的代理IP?
- 2
火车头爬虫怎么配置免费代理IP?详细设置步骤
- 3
给爬虫选代理:为什么动态IP比静态IP靠谱这么多?
- 4
金融数据抓取案例:代理IP稳定性的重要性
- 5
代理 IP+协程:把爬虫采集速度提升 5 倍的技巧
- 6
用代理 IP 抓取电商价格,如何设置爬取频率才不会触发风控?
- 7
亲测避坑!用代理 IP 爬电商不被封,7 条爬虫防封实战铁则
- 8
TLS指纹与浏览器指纹:轻松搞定无头浏览器检测
- 9
爬虫 IP 选型指南:住宅 IP、数据中心 IP、运营商 IP,爬虫代理该怎么选?
- 10
爬虫实战:数据清洗不会做?爬下来的脏数据这样处理
