说实话，刚学 Scrapy 爬虫的时候，我踩过最烦的坑莫过于 IP 被封：开开心心爬数据，没跑几分钟，本机 IP 直接被网站拉黑，哪怕断开 WiFi、重启电脑都没用。更崩溃的是，高频请求还会弹出人机验证码，爬虫直接原地罢工，半天跑不出一条有效数据。想必绝大多数做爬虫开发的朋友，都被爬虫 IP 封禁这个问题折磨过。其实道理特别简单：爬虫全程只用你电脑这一个固定 IP 去访问网站，风控系统一眼就能盯上这个异常访问地址。想要做好基础爬虫反爬，最直接有效的方案就是接入代理 IP 池，简单说就是让爬虫每发一次请求，就自动换一个全�...