CSV 数据体检

pandas 自动分析 CSV:行列数、类型、缺失值、统计摘要

关于CSV 数据体检

数据分析的第一步不是建模,而是“体检”:有多少行多少列、每列是什么类型、缺失值集中在哪、数值分布是否合理。类型识别尤其关键——一列本该是数字却显示为 object,说明混入了空格、货币符号或“无”这类占位文本,后续任何计算都会出错。

使用步骤

  1. 上传或粘贴 CSV 内容,自动读取前 1000 行做体检
  2. 查看概览:行列数、每列类型、缺失值数量与占比
  3. 展开数值列看统计摘要,找出异常范围和离群值
  4. 根据报告清洗数据(去空格、统一占位符),再重新分析

常见错误

没看类型直接求和

object 列参与计算会报错或被当成字符串拼接。先看体检报告的类型列,确认是 int/float 再算。

占位符伪装成数据

「无」「-」「N/A」都会被当成有效字符串,拉高非缺失计数。和业务方确认占位符清单,统一替换成空。

重复列名被静默改名

pandas 会给重名列加 .1 后缀,后续按列名取值会 KeyError。体检时留意列名是否和源文件一致。

常见问题

为什么我的数值列被识别成 object?

列里混有非数字内容,比如千分位逗号、货币符号、空格、破折号或中文“无”。清洗后再读入即可。

缺失值和空格子是一回事吗?

读入时空字符串默认按缺失值(NaN)处理,但仅含空格的字段会被当成普通字符串,需要加 skipinitialspace 或用 strip 处理。

和直接用 pandas 有什么区别?

这里是把 pandas 的常见体检动作预先做成了固定流程:类型推断、缺失值、重复行、异常分布,一次跑完给报告。省掉写代码,代价是不能自定义分析逻辑。要做任意变换还得自己写。

能导出清洗后的数据吗?

目前只出报告,不改你的数据。这是有意的边界——自动「修复」数据比自动检测危险得多,删错行不会有提示。按报告里指出的问题回到原表改,改完再上传一次核对。

内置了哪些检查?

主要覆盖四类:每列推断出的类型(以及为什么是 object)、缺失与空字符串的分布、完全重复的行、数值列的分布异常。这四项能解释掉数据清洗里大部分「为什么跑不出结果」。

来源:基于 pandas (BSD-3-Clause) + Pyodide · License: BSD-3-Clause · 分类:数据

相关阅读

← 返回 ToolHub 全部工具

✦ OPEN SOURCE TOOLS ✦

安全、快捷、开源工具及资源

无需安装、无需注册、无需命令行 —— 挑一个工具,填参数,出结果。

99 个工具 · 50 条资源 · 文件拖进来、内容粘进来都能用 · 无需注册
运行方式排序共 99 个
🔒 为什么本地执行更放心这一条是我们和多数工具站的根本区别
数据不出设备图片、Token、表格都在你的浏览器内处理,服务端不接触你的输入
没有账号体系不注册、不收邮箱、不做用户画像,收藏与记录只存在本机
可离线使用安装为桌面/手机应用后,断网也能运行全部本地工具