做爬虫开发 5 年多，我踩过最头疼的坑，就是爬虫被 ban。前一秒还在顺畅采集数据，下一秒就弹出 403 禁止访问，更糟的是本机 IP 被拉黑，连目标网站都无法正常打开，忙活大半天的成果全白费。刚开始新手时，盲目修改请求头、乱用免费代理，结果越改越糟，被 ban 的频率越来越高。后来踩的坑多了才明白，避免爬虫被 ban，做好爬虫反爬工作，从来不是单靠某一个配置就能实现的，必须依靠 User-Agent、Cookie 和代理 IP 三者协同配合，少了任何一个，都容易翻车。今天就把这三者的配置逻辑和实操技巧讲清楚，分享实用的爬虫防 ban 技...