做爬虫开发这么多年，踩过最多的坑，从来不是什么语法难题，而是单节点抓取太慢、IP 老被封、多机器抓数据乱套、重复爬取、代理 IP 严重浪费这些工程化问题。平时做中小规模的数据抓取，根本没必要上笨重的微服务架构。一套 Redis + 代理 IP 池的轻量化分布式爬虫方案，就能搞定大部分网站的反爬限制和速度瓶颈，也是我日常项目里落地率最高、最稳的一套实战爬虫架构。先唠明白：为什么一定要用分布式架构？先说说普通单机爬虫到底难在哪，这也是要做分布式的根本原因：1. 单机性能上限很明显：单台机器的带宽、线程数、算力都是有...