Pandas数据探查核心方法：info()与describe()函数详解与实战技巧
在Pandas数据分析中，快速掌握数据全貌是至关重要的第一步。info() 与 describe() 正是实现这一目标的黄金搭档。它们分别从“元数据”和“统计量”两个维度为你揭示数据集的本质。许多初学者虽然使用频繁，却未能充分理解其各自的局限性与协同工作的精妙之处。简而言之，info() 回答数据“结构如何”，describe() 描绘数据“分布怎样”。二者结合使用，方能有效规避数据清洗中的常见陷阱。
pd.DataFrame.info() 深度解析：功能、解读与常见误区
首先需要明确：info() 并非用于预览具体数据行。它的核心价值在于提供数据集的“元数据快照”——一份关于数据框架的“身份档案”，其中详细记录了列名、每列的数据类型（dtype）、非空值数量以及内存占用。新手常误以为执行完 info() 就完成了数据探查，却忽略了它无法揭示数值分布规律，也对潜在的异常值束手无策。
- 当数据集列数庞大时，
info()默认会折叠中间列的信息。此时，添加verbose=True参数可以强制展开所有列的详情，实现全景浏览。 - 分析时应重点关注
memory_usage（内存使用量）和non-null（非空计数）。前者能帮你迅速识别消耗内存的列，进而考虑将int64降级为int32或使用category分类类型以优化内存；后者则是检测数据缺失情况的首要指标。 - 一个关键细节：
non-null是分列统计的。某列显示有999个非空值，并不代表这999行数据在所有列上都是完整的，其他列仍可能存在缺失。 - 对
object数据类型需保持警觉。它如同一个“万能收纳箱”，可能混杂着纯文本、数字、空字符串或None。info()不会对此发出警告，但若你直接尝试用astype(int)进行转换，极有可能导致程序运行错误。
pd.DataFrame.describe() 的默认局限：如何获取完整数据画像
如果说 info() 容易引发误解，那么 describe() 的“默认行为”则可能导致关键信息被遗漏。它默认仅对数值型（number）列进行计算统计，而 object（对象）或 category（类别）列则会被直接忽略。如果你想了解字符串列有哪些唯一值、哪个值出现频率最高，不主动调整参数，这一步操作就失去了意义。
- 核心技巧是使用
include='all'参数。这样，输出结果将同时涵盖数值列的统计摘要（如计数、均值、标准差）和非数值列的概况（如唯一值数量、最频繁值及其频次）。 describe()输出的count是发现数据问题的早期信号。如果某数值列的count远小于数据总行数，表明该列存在大量NaN缺失值。- 注意一个特殊现象：若某列所有值都相同，其标准差（
std）会显示为 0.0，这属于正常情况。但如果std显示为NaN，通常是因为该列只有一个有效值，标准差无法计算。反之，如果你预期数据应有波动却看到std=0.0，则需要检查数据是否被错误地存储为字符串（例如 “1”, “2”, “3”）。 - 时间序列列（
datetime64）默认也不在统计范围内。需要单独使用df['col'].describe(datetime_is_numeric=True)，或直接调用min()、max()来查看时间跨度。
协同作战：结合info()与describe()识别隐藏的数据类型陷阱
数据分析中最棘手的问题，往往是那些表面正常、内部却存在隐患的情况。一个典型陷阱是：info() 显示某列有1000个非空值（non-null），类型为 object；但使用 describe(include='all') 查看时，却发现唯一值数（unique）仅为1，且最高频值（top）是空格或“NULL”字符串。这表明，该列很可能被各种空白字符、不可见字符或表示空值的占位字符串填满，而非真正的 NaN。
- 标准的排查流程是：先用
info()锁定那些可疑的object类型列，再用describe(include='all')查看它们的unique（唯一值数）和top（最频繁值）。如果唯一值数量异常少，且最高频值是某种空值形式，则存在脏数据的可能性极高。 - 验证方法可以如下：
df['col'].str.strip().replace('', pd.NA).isna().sum()。这行代码先去除字符串两端的空白字符，再将空字符串替换为Pandas认可的缺失值pd.NA，最后统计缺失数量。这种方法比直接调用isna()更为精确。 - 这里存在一个重要区别：
describe()对字符串列的count，统计的是“非空字符串”的数量。一个空字符串（''）会被计入有效值，而info()中的non-null计数同样视其为有效数据。这种统计口径的不一致性，正是需要手动介入清洗的明确信号。
大数据集优化策略：避免全量扫描，先抽样再探查
面对百万行乃至千万行级别的大型数据集，直接调用 info() 和 describe() 可能会引发性能问题。虽然这两个函数本身计算效率不低，但它们需要对数据进行完整扫描。特别是 describe(include='all')，对于字符串列，它需要遍历所有行来计算唯一值，数据量巨大时极易造成卡顿。
- 一个高效的策略是：先对数据进行随机抽样，例如执行
df.sample(10000).info()，快速把握大致的结构、类型和缺失情况。确认抽样数据无明显异常后，再对全量数据集运行详细分析。 - 对于字符串列的唯一值统计，若担心
describe()速度过慢，可以直接使用df['col'].nunique(dropna=False)。此方法速度更快，并且可以通过dropna参数灵活控制是否将缺失值计入唯一值统计。 - 在Jupyter等交互式环境中，随时可以通过
df.info?或df.describe?查看函数的详细文档和参数说明。多关注如memory_usage（控制内存显示方式）、percentiles（控制输出的百分位数）这类虽不常用但极具价值的参数。
归根结底，真正的挑战往往不在于函数本身的使用难度。而是当 info() 报告“数据非空”，describe() 也显示“有值”，但当你满怀信心地尝试计算均值时，却遭遇 TypeError: unsupported operand type(s) for +: 'str' and 'int' 这样的类型错误。此时，最佳做法是回归起点，重新审视 dtype，并亲自查验原始的前几行数据究竟是何模样。高质量的数据清洗，永远始于对元数据的精准洞察与深刻理解。
