首页 游戏 软件 资讯 排行榜 专题
首页
业界动态
Fluss 0.9 正式发布, 核心亮点都在这里了

Fluss 0.9 正式发布, 核心亮点都在这里了

热心网友
28
转载
2026-04-22

Apache Fluss 0.9 发布:流式存储的里程碑,为实时分析与AI注入新动能

Apache Fluss项目刚刚迎来了它的0.9版本,这无疑是项目发展史上的一个重要里程碑。作为一款面向实时分析、AI及重状态流处理的流式存储系统,Fluss 0.9在数据模型、存储处理、生产运维和生态集成等多个维度都实现了显著增强。可以说,它为构建统一、高效的流处理与湖仓一体架构,打下了更坚实的基础。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

那么,这次更新究竟带来了哪些值得关注的亮点?我们不妨深入看看。

一、更丰富的数据模型与 Schema 演进

1. 复杂数据类型支持

Fluss 0.9全面强化了对复杂数据类型的支持能力。现在,像Array、Map以及嵌套Row这类深层嵌套结构,都能得到原生支持。关键在于,系统不再是简单地将它们当作不透明的二进制数据存储,而是能够逐层解析每个字段的类型和含义。这从根本上保证了数据写入的准确性和后续读取的精度。

此外,得益于对Lance格式的支持,Fluss现已能够胜任向量存储场景。用户可以直接使用ARRAY或ARRAY类型来存储Embedding向量,使其成为向量Embedding的可靠数据源。下游的向量引擎可以增量消费这些数据,从而高效地维护ANN索引,为AI应用铺平道路。

2. 零拷贝 Schema 演进

新版本引入了一项对生产环境极其友好的特性:支持通过追加新列的方式来变更表Schema,并且与Flink SQL实现了完全集成。这里的秘诀在于,Schema变更时,已有的数据文件完全无需重写,仅仅更新元数据即可。对于已有记录中缺失的新增字段,系统会自动将其解释为NULL;而新写入的记录则会立即包含新增列。

这种方式的好处显而易见:它彻底避免了因Schema变更导致的停机时间和昂贵的数据回填操作。对于那些需要长期稳定运行的流式管道而言,这无疑是一个巨大的福音。

二、存储层处理与语义增强

1. 聚合合并引擎

Fluss 0.9引入了一个重量级特性——聚合合并引擎。它的核心思想是将实时聚合计算从计算层“下推”到存储层来完成。在传统方案中,实时聚合严重依赖Flink状态来维护;而现在,聚合状态被外置到了Fluss中,使得Flink作业能够保持近乎无状态,大大减轻了计算引擎的压力。

更重要的是,该引擎提供了端到端的Exactly-Once语义保障。即使在故障恢复的场景下,也能确保数据的最终一致性。Fluss通过巧妙结合Flink的Checkpoint机制与自身的Changelog能力,在存储层实现了撤销日志机制。这意味着,在保障精确一致语义的同时,系统依然能维持高吞吐与低延迟的性能表现。

2. 自增列与字典表

新版本开始支持自增列,能够自动为记录分配唯一的、递增的数字ID。基于这个特性,Fluss进一步支持了字典表模式——可以将那些冗长的标识符(比如字符串或UUID)映射为紧凑的数字ID。

字典表在实时系统中应用非常广泛,典型场景包括ID的稠密化映射、去重计算等。再结合rbm32和rbm64这类基于RoaringBitmap的聚合函数,Fluss 0.9提供了一套高效的去重计算方案。它使得在海量数据流中实现实时去重统计成为可能,而无需在Flink中维护庞大的状态,从而提升了系统的整体稳定性和效率。

3. 变更数据订阅

为了更便捷地追踪数据变化,Fluss 0.9引入了$changelog和$binlog虚拟表,专门用于变更数据订阅。用户无需存储任何额外数据,就能直接访问表的元数据和变更历史。

具体来说,$changelog提供了单条变更记录的完整审计追踪;而$binlog则以Binlog格式呈现变更数据,同时提供了嵌套的before和after行结构,便于对比。这些虚拟表支持从最早、最新或指定时间戳等多种模式启动,这对于时间点恢复和AI场景下的模型回测至关重要。

4. Compacted 日志格式

针对全行读取这类特定场景(例如读取聚合结果表或向量表),Fluss 0.9引入了Compacted(行式)日志格式。这种格式将整行数据以紧凑的方式存储在一起。与默认的Apache Arrow列式存储相比,在全行读取的场景下,它能带来更高的I/O效率和更低的CPU开销,性能提升立竿见影。

三、生产运维能力增强

1. KV 快照租约

新版本通过支持KV快照租约机制,显著提升了基于快照读取的可靠性。在之前的版本中,快照清理仅由保留策略驱动,存在一种风险:当作业还在读取某个快照时,这个快照可能因为达到保留时限而被清理掉。引入租约机制后,快照的生命周期变得“消费者感知”,确保在作业的整个读取过程中,其所依赖的快照始终可用,避免了潜在的数据访问中断。

2. 集群 Rebalance

Fluss 0.9现在支持在多个TabletServer之间自动重新分配数据副本和Leader角色,从而实现数据和流量的负载均衡。整个Rebalance过程设计得非常平滑,集群的写入吞吐能够保持稳定。完成后,各节点的磁盘使用量、Leader数量和副本数量都会达到均匀分布的状态。这个特性极大地简化了日常的集群运维工作,也提升了在集群规模变更期间的业务稳定性。

四、生态与开发体验提升

1. 多引擎支持

在生态集成方面,Fluss 0.9取得了扎实的进展:

Apache Spark:引入了Spark Catalog支持,实现了无缝的元数据管理,同时支持流式和批量读写。
Apache Flink 2.2:紧跟Flink最新版本,为Delta Join开启了更丰富的查询模式,并支持通过ALTER TABLE动态调整数据湖的新鲜度配置。

2. Azure 文件系统支持

通过新增的Azure文件系统插件,Fluss将其云原生存储能力扩展到了Microsoft Azure生态。现在,它可以支持使用Azure Blob Storage和Azure Data Lake Storage Gen2作为分层存储的后端,为用户提供了更多的云存储选择。

3. Ja va 客户端 POJO 支持

为了提升Ja va开发者的使用体验,Fluss现在支持POJO。开发者可以直接将表行数据映射到熟悉的Ja va类中,这大幅减少了样板代码,使得将Fluss集成到现有的Ja va微服务或应用程序中变得更加轻松、自然。

4. 升级与试用

对于考虑升级的用户,有个好消息:Fluss 0.9在网络协议与存储格式层面保持了高度兼容性,实现了客户端与服务端之间的完全双向兼容。当然,详细的升级步骤和注意事项,建议参考官方发布的最新升级指南。

目前,基于Apache Fluss打造的阿里云流存储产品已经完整支持了Fluss 0.9的全部功能,并开启了免费公测。在公测期间,单用户可免费使用2个集群,且单个集群的资源上限为80 Core。对于想要尝鲜和评估的企业与开发者来说,这无疑是一个绝佳的机会。

来源:https://www.51cto.com/article/837326.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

Fluss 0.9 正式发布, 核心亮点都在这里了
业界动态
Fluss 0.9 正式发布, 核心亮点都在这里了

Apache Fluss 0 9 发布:流式存储的里程碑,为实时分析与AI注入新动能 Apache Fluss项目刚刚迎来了它的0 9版本,这无疑是项目发展史上的一个重要里程碑。作为一款面向实时分析、AI及重状态流处理的流式存储系统,Fluss 0 9在数据模型、存储处理、生产运维和生态集成等多个维

热心网友
04.22
迭代器模式:处理大数据集合的利器,如何用迭代器避免内存溢出?
业界动态
迭代器模式:处理大数据集合的利器,如何用迭代器避免内存溢出?

迭代器模式:让复杂对象也能优雅地“走个过场” 说到遍历数据,PHP开发者最熟悉的莫过于数组和那个万能的foreach了。就像下面这样,简单直接: $users = [ Alice , Bob , Charlie ];foreach ($users as $user) { } 但问题来了,

热心网友
04.22
OpenClaw v2026.3.22 升级事故全记录:插件失效原因分析与应对方案
AI
OpenClaw v2026.3.22 升级事故全记录:插件失效原因分析与应对方案

OpenClaw v2026 3 22 更新事故:插件大规模失效分析与全量应对指南 这是一份关于2026年3月23日OpenClaw发布v2026 3 22版本后,所引发的大规模插件兼容性事故的深度记录。我们将剖析事故的技术根源,为各类用户提供清晰的应对路径,并从工程角度给出后续的迁移与规避建议。

热心网友
04.22
阿里妈妈在TongAI大会推出全新URM通用召回大模型,重塑购物体验
AI
阿里妈妈在TongAI大会推出全新URM通用召回大模型,重塑购物体验

AI重塑购物:阿里妈妈URM通用召回大模型亮相TongAI大会 人工智能的浪潮正席卷广告与电商领域。最近在首届国际通用人工智能大会(TongAI)上,阿里妈妈带来了一个重磅发布——基于其LMA2广告大模型系列开发的URM通用召回大模型。这不仅仅是又一个技术产品的亮相,更是生成式推荐(AIGR)在实际

热心网友
04.22
周红伟:免部署腾讯版小龙虾WorkBuddy教程:手把手教你一分钟搞定
AI
周红伟:免部署腾讯版小龙虾WorkBuddy教程:手把手教你一分钟搞定

上周免费安装openclaw活动结束后,不少朋友反馈“没拿到号”,并且都在呼唤下一场。 看来,大家对小龙虾的热情远超预期。与此同时,一个普遍的呼声也浮出水面:市场需要更易上手、开箱即用的养虾工具和攻略。这不,为了回应这份期待,鹅厂这次可是铆足了劲。全新的全场景AI智能体WorkBuddy,也就是大家

热心网友
04.22

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

腾讯:QQ 将全面接入微信小程序,建议开发者尽快迁移降低维护成本
手机教程
腾讯:QQ 将全面接入微信小程序,建议开发者尽快迁移降低维护成本

腾讯生态整合新动向:QQ全面接入微信小程序 7月1日,腾讯QQ小程序开发者平台发布了一项重要更新。核心内容是,为了帮助开发者降低双端开发与维护成本,QQ将全面接入微信小程序体系。这意味着,未来用户可以直接在QQ内搜索并打开微信小程序。 对于现有的存量QQ小程序,此次调整并未“一刀切”。它们目前仍可正

热心网友
04.22
天玑9600/9600 Pro双芯齐发:5GHz主频史无前例 硬刚高通骁龙8E6
手机教程
天玑9600/9600 Pro双芯齐发:5GHz主频史无前例 硬刚高通骁龙8E6

下半年芯片市场巅峰对决提前揭幕 今年下半年,全球芯片市场的战火将空前炽热。两位重量级选手——联发科与高通,已经准备好亮出各自的王牌。天玑9600系列与骁龙8E6系列,这两大迭代旗舰平台的正面交锋,注定会成为今年科技行业最值得关注的戏码。 双芯策略:精准卡位旗舰市场 有意思的是,联发科这次玩了个新花样

热心网友
04.22
微信好友申请为何能通过搜索qq号添加
手机教程
微信好友申请为何能通过搜索qq号添加

在当今数字化社交的时代,微信已成为人们日常沟通交流的重要工具。不少人都发现,微信好友申请居然可以通过搜索 qq 号来添加,这背后有着诸多有趣的原因和便利之处。 一、社交关系的延续与拓展 要知道,微信与QQ同属腾讯旗下,两者之间存在着千丝万缕的联系。很多用户的社交关系其实根植于QQ时代,那些好友列表里

热心网友
04.22
高德地图如何更改定位
手机教程
高德地图如何更改定位

高德地图如何更改定位?三种方法详解及注意事项 无论是日常通勤、外出旅行还是朋友相聚,高德地图已经成了我们依赖的“导航神器”,精准定位和路线规划是其核心功能。不过,现实场景有时会有点特殊——比如,你可能需要模拟一个位置来测试应用,或者在某个游戏中“签到”,又或者只是想和朋友开个无伤大雅的玩笑。这个时候

热心网友
04.22
巧学宝app如何绑定手机号
手机教程
巧学宝app如何绑定手机号

巧学宝App绑定手机号全程指南 在巧学宝App上完成手机号绑定,是解锁其完整功能的关键一步。这个看似简单的操作,能为你后续的学习之旅带来不少实实在在的便利。那么,该如何快速搞定呢?下面这张流程图,能帮你一眼看清完整的操作路径。 第一步:进入个人中心 首先,打开你的巧学宝App。进入主界面后,注意力可

热心网友
04.22