Hive Catalog 本质上就是 Hive 中的元数据管理核心,数据库、数据表、字段列、分区等对象的详细信息都存储在其中。若想对 Hive Catalog 进行数据统计,直接使用 Hive SQL 查询元数据信息即可,操作直观且高效。

以下提供几个典型的统计查询示例,覆盖了从库、表、列到分区以及存储路径的常见统计需求,你可以直接在实际场景中应用,或根据自身需要稍作调整。
1. 统计 Hive Catalog 中数据库总数
SELECT COUNT(*) FROM hive_catalog.databases;
2. 按数据库分组统计表数量
SELECT db.name, COUNT(*) AS table_count
FROM hive_catalog.tables t
JOIN hive_catalog.databases db ON t.database_id = db.id
GROUP BY db.name;
3. 按表分组统计列数量
SELECT t.name AS table_name, COUNT(*) AS column_count
FROM hive_catalog.columns c
JOIN hive_catalog.tables t ON c.table_id = t.id
GROUP BY t.name;
4. 按表分组统计分区数量
SELECT t.name AS table_name, COUNT(*) AS partition_count
FROM hive_catalog.partitions p
JOIN hive_catalog.tables t ON p.table_id = t.id
GROUP BY t.name;
5. 查询指定表的存储路径使用情况(按分区展开)
SELECT t.name AS table_name, p.partition_name, p.location
FROM hive_catalog.partitions p
JOIN hive_catalog.tables t ON p.table_id = t.id
WHERE t.name = 'your_table_name';
这五个查询基本能够摸清 Hive Catalog 中元数据的全貌。实际使用时,只需将表名、数据库名等条件替换为你自己的名称,即可获得对应的统计结果。
