数据清洗与转换

CSV 与 JSON 互转、去重排序、数值统计、编码哈希——拿到脏数据的处理流程

专题说明

拿到的数据往往不能直接用：格式不对、有重复、缺字段、编码混乱。这组工具按「转换 → 体检 → 清洗 → 统计」的顺序串起来使用，覆盖大多数一次性数据处理任务，不需要为此写脚本。

包含工具（按建议顺序）

1. CSV ↔ JSON
2. CSV 数据体检
3. 数值统计
4. 文本去重排序
5. JSON 格式化
6. 哈希计算

常见问题

中文 CSV 打开是乱码

源头编码不是 UTF-8。用 Excel「另存为 → CSV UTF-8」，或在导入时手动指定编码。

数值列算不出结果

先用 CSV 数据体检看列类型，如果是 object 说明混入了空格、货币符号或「无」这类文字，清洗后再统计。

← 全部专题