不少小伙伴做完爬虫采集、导出表格后，瞬间就 emo 了：数据乱七八糟、重复一堆、有空值有乱码、格式五花八门，完全没法直接用来分析、建模或者入库。很多人不知道，哪怕用了爬虫代理、开启动态 IP 轮换规避 IP 封禁，爬取出来的原始数据依旧自带一堆“垃圾噪声”，这就是爬虫脏数据。只要掌握简单的数据清洗方法，做好基础数据去重，就能快速整理出干净可用的数据，新手也能轻松上手。先搞懂：爬虫脏数据最常见的 5 类坑爬虫出来的脏数据，问题基本逃不出这五种，针对性处理就行，不用瞎忙活：重复冗余数据：页面反复刷新、接口重复...