字节跳动携手港大与华中科技大学推出UniTok，革新视觉分词技术
近日，字节跳动联合香港大学和华中科技大学共同推出了全新的视觉分词器 UniTok。这款工具不仅能在视觉生成和理解任务中发挥作用，还在技术上进行了重要创新，解决了传统分词器在细节捕捉与语义理解之间的矛盾。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
UniTok 采用了多码本量化技术，能够将图像特征分割成多个小块，并用独立的子码本进行量化。这种方法极大地提升了视觉 token 的表示能力，使得处理图像时能够更加精细。比如，UniTok 在 ImageNet 数据集上的零样本分类准确率达到了78.6%，而图像重建质量也仅为0.38，远超现有的分词器。
UniTok 的核心功能包括统一视觉表示和高质量图像重建。它能将图像编码为离散的视觉 token，这些 token 不仅可以用于图像生成（例如根据文本生成图像），还可以用于视觉理解(例如回答与图像相关的问题)。此外，UniTok 结合了对比学习和重建损失，确保生成的视觉 token 与文本描述之间的对齐，从而提升视觉理解的能力。
在技术原理上，UniTok 的多码本量化使得视觉 token 的词汇量可以指数级增长。而其使用的多头注意力模块则更好地保留了原始 token 中的语义信息，使得分解后的特征表达能力得以提升。整个训练过程遵循统一的目标，确保图像细节的准确重建，同时优化生成和理解任务。
UniTok 不仅在视觉领域表现出色，还为多模态大语言模型（MLLM）的发展提供了强有力的支持。它将生成的视觉 token 映射到多模态语言模型的 token 空间，推动了视觉与语言的统一处理。这种技术进步不仅提升了图像生成的效率，还为教育、医疗影像分析等多个领域带来了新的应用前景。
未来，UniTok 有望在多个场景中得到广泛应用，比如作为多模态模型的视觉输入模块，提升图文信息处理能力;根据文本生成细节丰富的图像，助力创意设计;或是在电商平台中进行跨模态检索与推荐，从而提高用户体验。
项目地址：https://github.com/FoundationVision/UniTok
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑，终于有了实质性进展。美国证券交易委员会（SEC）主席保罗·阿特金斯（Paul Atkins）近日证实，那份允许加密项目在早期获得注册豁免权的“安全港”框架提案，已经正式送抵白宫，进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上，阿特金斯透露了这
微策略Strategy报告：第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大？看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告，受市场剧烈波动影响，这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向，向来是加密世界的风向标。这不，它向Web3基础设施的版图扩张，又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露，其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出，立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol，日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议，在运营不到三年后，终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets（ILMs）——一
PAAL代币揭秘：深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中，谁真正掌握了项目的话语权？PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介，更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币，用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票