CSV 数据体检
pandas 自动分析 CSV:行列数、类型、缺失值、统计摘要
关于CSV 数据体检
数据分析的第一步不是建模,而是“体检”:有多少行多少列、每列是什么类型、缺失值集中在哪、数值分布是否合理。类型识别尤其关键——一列本该是数字却显示为 object,说明混入了空格、货币符号或“无”这类占位文本,后续任何计算都会出错。
使用步骤
- 上传或粘贴 CSV 内容,自动读取前 1000 行做体检
- 查看概览:行列数、每列类型、缺失值数量与占比
- 展开数值列看统计摘要,找出异常范围和离群值
- 根据报告清洗数据(去空格、统一占位符),再重新分析
常见错误
没看类型直接求和
object 列参与计算会报错或被当成字符串拼接。先看体检报告的类型列,确认是 int/float 再算。
占位符伪装成数据
「无」「-」「N/A」都会被当成有效字符串,拉高非缺失计数。和业务方确认占位符清单,统一替换成空。
重复列名被静默改名
pandas 会给重名列加 .1 后缀,后续按列名取值会 KeyError。体检时留意列名是否和源文件一致。
常见问题
为什么我的数值列被识别成 object?
列里混有非数字内容,比如千分位逗号、货币符号、空格、破折号或中文“无”。清洗后再读入即可。
缺失值和空格子是一回事吗?
读入时空字符串默认按缺失值(NaN)处理,但仅含空格的字段会被当成普通字符串,需要加 skipinitialspace 或用 strip 处理。
和直接用 pandas 有什么区别?
这里是把 pandas 的常见体检动作预先做成了固定流程:类型推断、缺失值、重复行、异常分布,一次跑完给报告。省掉写代码,代价是不能自定义分析逻辑。要做任意变换还得自己写。
能导出清洗后的数据吗?
目前只出报告,不改你的数据。这是有意的边界——自动「修复」数据比自动检测危险得多,删错行不会有提示。按报告里指出的问题回到原表改,改完再上传一次核对。
内置了哪些检查?
主要覆盖四类:每列推断出的类型(以及为什么是 object)、缺失与空字符串的分布、完全重复的行、数值列的分布异常。这四项能解释掉数据清洗里大部分「为什么跑不出结果」。
来源:基于 pandas (BSD-3-Clause) + Pyodide · License: BSD-3-Clause · 分类:数据
相关阅读
安全、快捷、开源工具及资源
无需安装、无需注册、无需命令行 —— 挑一个工具,填参数,出结果。