游乐游手机版
首页/数据库/文章详情

Hive Parquet支持的数据类型详解

时间:2026-06-20 09:42
HiveParquet文件格式支持基本类型包括布尔型、整型、浮点型、字符串型、日期时间型;复杂类型包括结构体(STRUCT)、数组(ARRAY)、映射(MAP);特殊类型包括二进制(BINARY)、十进制(DECIMAL)、联合类型(UNION_TYPE)。版本迭代可能微调支持范围,实际使用请参考最新文档。

在Hive生态中,Parquet文件格式所支持的数据类型相当全面,主要可归纳为两大类:基本数据类型与复杂数据类型。下面这张图能帮你快速建立整体认知。

hive parquet支持哪些数据类型

基础数据类型

基础数据类型是数据存储的根基,Parquet对它们的支持十分完备:

  • 布尔类型 (BOOLEAN):用于表示真/假逻辑值,是最简单的数据类型。
  • 整数类型:按字节长度区分为四种——
    • TINYINT:1字节有符号整数,取值范围-128~127,适合存储状态标识等小量级数据。
    • SMALLINT:2字节有符号整数,区间-32,768~32,767,可满足中等规模计数需求。
    • INT:4字节有符号整数,范围约-21亿~21亿,日常开发中最常用的整型。
    • BIGINT:8字节有符号整数,范围达-9.22×10¹⁸~9.22×10¹⁸,仅处理超大规模数据时才需要。
  • 浮点类型:FLOAT(4字节单精度)与DOUBLE(8字节双精度),精度等级不同,按业务场景选用即可。
  • 字符串类型:CHAR为固定长度,VARCHAR为可变长度,后者通常采用UTF-8编码,灵活性更高、更节省空间。
  • 日期与时间类型:DATE仅存储日期,TIMESTAMP同时包含日期和时间,TIME只记录时间,各司其职。

复杂数据类型

当遇到结构更复杂的数据时,复杂类型便派上用场:

  • STRUCT:结构体,可容纳多个不同类型字段,类似面向对象编程中的对象概念。
  • ARRAY:数组,存储一系列相同类型的元素,支持顺序访问。
  • MAP:映射,以键值对形式组织数据,键和值均可为任意类型,非常适合快速查找场景。

特殊类型

除此之外,Parquet还额外支持几种特殊数据类型:

  • BINARY:原始的字节数据,适合存储二进制文件或序列化对象。
  • DECIMAL:精确小数,可自定义精度与小数位数,是财务计算场景的必备类型。
  • UNION_TYPE:联合类型,允许一个字段从多种子类型中取其一,虽然灵活性高但实际使用频率较低。

最后提醒一点:随着Hive版本迭代,Parquet对某些类型的支持细节可能有所调整,实际使用时最好查阅最新官方文档进行确认。

来源:https://www.yisu.com/ask/10820920.html
上一篇深度解析Hive Parquet压缩比 下一篇Hive Parquet跨版本兼容性差异解析
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
用Qwen大模型为MySQL查询推荐最佳可视化图表
数据库 · 2026-07-07

用Qwen大模型为MySQL查询推荐最佳可视化图表

如何用Qwen大模型为MySQL查询自动推荐最佳可视化图表 你是否希望从MySQL查出的销售数据自动生成柱状图,而不是对着满屏数字发呆?刚写完一条SELECT语句,却不确定该使用折线图还是热力图来展示时间趋势?或者你把查询结果复制进Excel后才想起,其实散点图更能说明问题。这些场景是不是很熟悉?

MongoDB 4.0事务处理机制底层原理详解
数据库 · 2026-07-07

MongoDB 4.0事务处理机制底层原理详解

MongoDB4 0多文档事务深度复用WiredTiger引擎原生多行事务能力,基于快照隔离和MVCC机制。事务启动获取clusterTime,读操作基于固定快照,写冲突在提交时检测。oplog异步刷盘可能影响持久性,生产环境需启用journal并控制事务超时。

Qwen大模型助力MySQL敏感数据脱敏与隐私保护
数据库 · 2026-07-07

Qwen大模型助力MySQL敏感数据脱敏与隐私保护

借助Qwen大模型一键生成合规的MySQL脱敏SQL语句 先看一个真实业务场景:你需要在MySQL中对姓名、手机号、身份证号这类敏感字段进行合规脱敏,且脱敏逻辑要具备可复用性、可审计性、可回溯能力。此时直接打开Qwen的Web界面或调用API,输入一条清晰指令就能搞定——例如:“请为MySQL表us

数据库里最反直觉的陷阱:NULL不等于空,90%新手踩过坑
数据库 · 2026-07-07

数据库里最反直觉的陷阱:NULL不等于空,90%新手踩过坑

NULL是数据库中表示“未知”的特殊标记,而非空值或0。它引入三值逻辑,导致用=NULL查不出数据、COUNT(column)忽略NULL、运算结果全为NULL、NOTIN遇NULL返回空、排序位置因数据库而异。正确处理需用ISNULL判断、COALESCE赋默认值、NOTEXISTS替代NOTIN,建表时尽量设置NOTNULL。

Qwen大模型生成MySQL性能优化量化对比报告测评
数据库 · 2026-07-07

Qwen大模型生成MySQL性能优化量化对比报告测评

Qwen大模型能够基于两份CSV文件,自动生成一份包含QPS、延迟等8项核心指标的MySQL优化量化对比报告。您只需导出规范的CSV数据,使用特定提示词触发解析,再将结果转为HTML或PDF格式即可交付。此外,通过三步验证流程,可确保所有数据真实可信,满足技术评审要求。需要一份能直接用于技术评审或D