Hypergraph as Language
https://arxiv.org/pdf/2605.21858v1
先抛出一个核心判断：大语言模型在处理关系结构方面确实展现出了惊人的潜力。但问题的关键在于——现有方法从根本上说，还是以“图”为中心。它们的主要精力都放在如何把成对图结构转化成LLM能读懂的标记上。然而，现实世界中大量关系模式并不天然符合这种“成对边”的假设。比如论文共被引、群体交互、多实体协作——这些场景更适合建模为超图，其中一条超边可以同时连接任意数量的顶点。面对超图结构，现有方法往往难以保留“多个对象由同一高阶关系共同连接”的原生语义，这直接限制了它们对复杂结构的有效利用。
为了打破这个局限，我们提出了一种全新的视角——“作为语言的超图”，并在此基础上构建了Hyper-Align，一个针对大语言模型的超图原生对齐框架。Hyper-Align的核心思路，是将以查询对象为中心的超图上下文，编译成一系列基础LLM可以直接处理的超图标记。具体来说，我们首先引入了带概述的超图关联细节模板（HIDT-O），它能把高阶关联结构序列化为一个固定形状的混合模板——既包含局部关联细节，也包含概览级的摘要信息。接着，我们设计了超图关联投影器（HIP），通过显式的语义-结构解耦，以及顶点与超边之间的双向消息传递，将原生的高阶关联结构映射到LLM的标记空间。在此基础上，我们进一步定义了一套具体的“作为语言的超图”输入协议，将超图标记和文本提示共同输入到冻结的基础LLM中，在统一的问答范式下同时支持顶点级和超边级任务。
为了系统评估不同方法在超图结构建模上的能力，我们还构建了HyperAlignBench。大量的实验结果表明，无论是在域内评估还是零样本评估中，Hyper-Align都显著优于现有方法。
1 引言
大语言模型在语言理解、知识迁移和统一任务建模方面表现出了强大的能力，这自然也加速了它们向结构化数据领域的扩展。近年来，基于LLM的图结构数据研究逐渐成为热门话题，主要沿着两条技术路线推进。一条是将图结构重写为自然语言或代码风格的描述，让LLM直接在文本空间执行图任务。另一条则是把图结构转换为与LLM输入空间兼容的图标记序列，用冻结或近乎冻结的LLM作为统一接口，支持各类任务甚至零样本推理。这些方法无疑推动了LLM与图学习的融合，但一个关键问题在于——它们的建模假设从根本上说还是以图为中心的：基本结构单元通常是成对邻接、节点邻域，或者从图中派生出来的标记序列。
但现实中大量高阶关系并不天然符合这种成对边的假设。论文共被引、群体交互、多实体协作——这些数据更适合用超图来建模。在超图中，一条超边可以同时连接任意数量的顶点。这样一来，语义焦点就不再是“两个顶点是否连接”，而是“一组对象如何作为一个整体被关联”。这意味着超图的原生结构单元不是成对邻接，而是建立在顶点和超边之间的高阶关联。如果直接套用现有的以图为中心的方法，就需要把超图扩展成多条成对边，比如通过团扩展——但这个过程会不可避免地把原始超图中的高阶关联信息给丢掉。
最近，已经出现了一些将超图与大语言模型结合的初步尝试。LLMHG、HeLLM和Hyper-RAG分别聚焦于推荐系统、多模态推荐和检索增强生成场景，而HyperLLM则专注于利用大语言模型从文本数据中生成超图。LLM4Hypergraph构建了一个用于超图理解的系统基准，探索如何将超图转换为自然语言以便大模型理解。我们把这种直观的范式叫做“超图到语言”，但它可能导致信息丢失。这些努力背后，一个基本问题在很大程度上仍未被触及：我们能不能让超图作为类似语言的结构输入，直接被大语言模型理解？这样一来，大语言模型就能原生地建模高阶关联，统一处理超图任务。我们将这条新的研究路线称为“作为语言的超图”，如图1所示。
基于“作为语言的超图”视角，我们提出了Hyper-Align——这是第一个针对大语言模型的超图原生对齐框架。Hyper-Align将以查询对象为中心的高阶关联结构，编译成一系列连续的超图标记，这些标记可以被基础大语言模型直接处理，并在统一的问答范式下执行推理。具体来说，我们首先提出了一种超图原生的序列化方法——带概述的超图关联细节模板（HIDT-O）。它从顶点-超边关联的视角出发，把高阶关联结构序列化成一个固定形状的模板，其中既包含局部关联细节，也包含概览级的摘要。接下来，在表示对齐层面，我们设计了超图关联投影器（HIP）。跟现有图-大语言模型方法中常用的共享MLP风格投影器不同，我们的HIP显式地解耦了语义和结构，区分了顶点、超边和概述组件等不同角色。更重要的是，它在投影器内部执行顶点和超边之间的高阶双向消息传递，从而将原生高阶关联结构映射到LLM的标记空间。在此基础上，我们进一步定义了一个具体的“作为语言的超图”输入协议，使用“背景-细节-问题”三部分提示，把超图标记和文本上下文共同输入到冻结的基础大语言模型中。最后，在超图对齐微调阶段，我们设计了两个辅助监督任务——阶数桶重建和关系重建——与主任务损失一起共同优化HIP的参数。
值得强调的是，Hyper-Align不仅限于超图，它还可以自然地扩展到普通图——因为普通图本质上可以看作一种特殊的超图，其中每条超边恰好关联两个顶点。为了系统评估不同方法在高阶关联建模上的能力，我们进一步构建了HyperAlign-Bench，包含两个核心任务——顶点分类和超边分类——同时支持域内和零样本评估。
总结一下，本文的贡献包括：
- 我们引入了“作为语言的超图”视角，并提出了Hyper-Align，这是第一个针对LLM的超图原生对齐框架。
- 我们提出了HIDT-O，从顶点-超边关联的视角，将高阶关联结构序列化为局部细节和概览级摘要的混合模板。
- 我们提出了HIP，并定义了一个具体的“作为语言的超图”输入协议，在高阶关联结构、文本上下文和LLM之间建立了统一的对齐接口。同时，在超图对齐微调中设计了辅助监督，共同优化HIP参数。
- 我们构建了HyperAlign-Bench，一个用于高阶关联建模的公平且可复现的基准。大量实验表明，Hyper-Align在域内和零样本评估中均显著优于现有方法，验证了所提方法的必要性和有效性。
2 相关工作
现有的关于LLM处理结构化数据的研究，主要沿着两条路线推进。一条是“图即文本”，把图重写为自然语言或代码风格的描述；另一条是“图到标记”，把图结构映射成与LLM输入兼容的连续标记。像GraphGPT、LLaGA、TEA-GLM和PromptGFM这些方法，虽然在结构-语言对齐方面展现出了不错的前景，但它们从根本上说都是建立在具有成对边的普通图之上的。这就使得它们面对高阶关联时力不从心——后者的语义核心在于同一超边内多个顶点的整体分组。
与此同时，像HGNN、Hyper-SAGNN和AllSet这样的超图学习方法，直接对超图结构进行建模。而最近的工作，比如HyperBERT和初步的超图-LLM研究，则探索了文本超图、提示、推荐、检索增强或超图提取。不过，这些方法要么依赖于特定任务的HGNN编码器，要么专注于特定场景，始终没有在超图和LLM之间建立一个统一的对齐框架。我们的Hyper-Align填补了这个空白——它让超图作为类似语言的结构输入，直接被LLM处理，从而为顶点级和超边级任务实现了超图原生的建模。
3 Hyper-Align框架
3.1 方法概述
图2展示了Hyper-Align的整体框架。对于任意中心对象cc，Hyper-Align的整体计算流程可以表示为：
3.2 超图原生序列化：HIDT-O
超图关联细节模板。要把高阶关联结构编译成固定长度的序列，我们提出了超图关联细节模板（HIDT）。如图3所示，给定一个中心对象cc，HIDT从顶点-超边关联的二分视角，构建一个固定形状的关联树——顶点层和超边层严格交替。值得注意的是，这种关联二分表示法对于顶点-超边关联结构来说是无损的，能够完整保留原始超图的结构信息。
3.3 超图关联投影器
3.4 “作为语言的超图”协议与训练
4 HyperAlign-Bench
为了系统评估不同模型捕获高阶关联结构的能力，我们构建了HyperAlign-Bench——这是首个超图-语言对齐基准。跟那些主要关注普通图的现有评估不同，HyperAlign-Bench直接把超图作为基本数据对象，保留了由顶点-超边关联所表达的高阶关联语义。它还提供了统一的数据构建流程、任务协议和评估接口，方便在不同方法之间进行公平比较。
HyperAlign-Bench包含两个对偶任务：顶点分类和超边分类。前者以查询顶点为中心，要求模型基于高阶关联上下文预测其类别；后者以查询超边为中心，要求模型预测引发该超边的源对象的类别。在HyperAlign-Bench中，主数据集是Arxiv-HG，它基于OGBN-Arxiv构建。我们把论文引用关系转化为共引超图：对于每篇源论文，其引用的论文集合被视为一条超边。这种构建方式避免了把高阶共引关系扁平化为普通图边，最终产生了一个包含169,343个顶点和123,826条超边的训练和域内评估数据集。除了主数据集，HyperAlign-Bench还包括4个源自HyperBERT的重组数据集——Cora-CC、PubMed、DBLP和IMDB——涵盖了论文、作者关系和电影等不同领域。这些数据集用于评估模型将高阶关联结构建模能力迁移到未见领域的能力。总体来看，HyperAlign-Bench为验证超图原生对齐能力和跨域泛化提供了坚实的实验基础。
5 实验结果
5.1 实验设置
我们在HyperAlign-Bench上评估Hyper-Align。训练期间，我们在Arxiv-HG上联合优化两个任务：顶点分类（VC）和超边分类（HEC）。然后，我们在四个未见过的超图数据集（Cora-CC、PubMed、DBLP和IMDB）上评估同一个检查点，不进行任何额外的微调，以此考察其跨域零样本泛化能力。默认情况下，Hyper-Align使用Qwen3-8B作为基础LLM，顶点和超边的语义特征由Qwen3-Embedding-0.6B预编码。我们在4张NVIDIA A100 GPU上训练模型2个epoch。全局有效批大小为64，学习率设置为2×10⁻³，采用余弦调度，预热比例为0.03。对于HIDT-O，我们最多使用160个超图标记，为每个中心顶点采样最多8条关联超边，并为每条超边采样最多8个成员顶点。概述后缀包含8个标记，对应2跳和4个阶数桶。
5.2 与其他方法的比较
域内评估。表1报告了在Arxiv-HG上的域内结果。Hyper-Align在顶点分类和超边分类上均取得了最佳性能，显著优于最强基线。在现有的超图专用方法中，超图神经网络（HGNNs）通过直接对超图结构进行建模取得了具有竞争力的结果——但它们仍然是针对特定任务定制的监督编码器，没有提供与语言对齐的接口，也不支持任何零样本能力。基于预训练语言模型（PLM）的HyperBERT表现要差得多，这说明简单地把文本语义注入PLM，并不足以支撑超图建模。通用LLM在使用更强的指令遵循模型时性能有所提升，但表现仍然受限——毕竟仅靠文本提示无法忠实表示原生的顶点-超边关联结构。图-LLM虽然受益于结构感知适应，但它们从根本上说还是建立在成对图表示之上的，因此无法完全保留超边级别的分组语义。相比之下，我们的Hyper-Align是首个超图原生的LLM框架，它直接把顶点-超边关联结构与LLM标记空间对齐。相对于所有HGNNs、基于PLM的方法、通用LLM以及图-LLM的显著提升，既证明了原生超图-语言对齐的必要性，也验证了我们所提设计的有效性。
跨域零样本评估。表2进一步报告了在四个未见数据集上的零样本结果。Hyper-Align在所有数据集的VC和HEC任务上均获得了最佳性能。虽然一些图-LLM在个别数据集上取得了有竞争力的分数，但它们的表现在不同领域间差异很大。相比之下，Hyper-Align表现出了更稳定的跨域泛化能力——这说明Hyper-Align学到的是用于高阶关联建模的更具可迁移性的对齐模式，而不仅仅是在拟合源数据集。
5.3 消融研究
对所提组件的消融实验。表3展示了所提组件的详细消融研究。移除HIDT序列导致了最大的性能下降——这证实了细粒度的顶点-超边关联细节对于建模原生高阶关联至关重要。移除概述后缀也会导致域内和零样本评估的性能一致下降，说明概述标记在局部HIDT模板之外提供了互补的、更广泛的结构上下文。对于投影器，把HIP替换为普通的MLP投影器会严重损害性能，尤其是在零样本迁移下——这表明独立的标记投影不足以将超图结构与LLM空间对齐。辅助损失也带来了一致的增益：移除任一辅助重建任务都会降低性能，而同时移除两者会导致更大的下降。这表明这两个辅助目标作为有用的正则化项，有助于保留阶数感知和关系感知的结构信息。
我们也对“作为语言的超图”协议进行了消融。仅文本提示变体移除了
基础LLM和嵌入模型的影响。表4评估了Hyper-Align在不同基础LLM和嵌入模型选择下的表现。这个实验旨在考察Hyper-Align的优势究竟是仅仅源于使用了更强的近期LLM，还是源于所提出的超图原生架构本身。为此，我们包含了配备SBERT和SimTeG嵌入的Vicuna-7B，这遵循了先前图-LLM工作（如LLaGA）中的常用设置——特别是，配备SimTeG的Vicuna-7B对应于默认的LLaGA设置。
在这些受控设置下，Hyper-Align依然取得了强劲的性能，并且仍显著优于表1中报告的图-LLM基线——这说明性能的提升并非仅仅源于使用了更先进的LLM或嵌入模型。同时，在Vicuna-7B设置下，用SimTeG替换SBERT提升了实验结果，而基于Qwen3的配置则进一步增强了域内和零样本性能。这些结果表明，Hyper-Align能够兼容不同的LLM和语义编码器，其主要优势源于超图原生对齐设计，而非依赖于特定的LLM或嵌入模型。
单任务与联合训练。表5比较了单任务训练与联合训练。两种训练方法的域内性能大致相同，但联合训练在跨域零样本性能方面具有显著优势。这些结果表明，联合优化以顶点为中心和以超边为中心的任务，促使HIP学习超图与语言之间更具通用性的共享对齐，从而获得更好的泛化能力。
超边度的影响。我们根据超边度对ArxivHG HEC测试超边进行分层，并报告每个度范围内模型的准确率。如图4所示，Hyper-Align在所有度范围内 consistently 取得了最佳性能——这说明Hyper-Align在拥有更丰富组级关联的高阶机制中依然有效。值得注意的是，当超边度为2时，Hyper-Align已经优于基于图的基线方法。这一结果表明，我们的超图形式化自然地容纳了成对关系，甚至能比标准的基于图的方法更有效地建模这种双向关联。我们进一步将Hyper-Align与一个内部的成对变体Hyper-Align-clique进行比较。这个变体用团扩展的成对边替换原生超边，同时保持框架的其余部分不变——此设置与本文中图-LLM的实验设置一致。当超边度仅为2时，Hyper-Align和Hyper-Align-clique表现相似。然而，随着超边度的增加，Hyper-Align显示出了相对于Hyper-Align-clique的明显优势。这一趋势表明，成对扩展可以捕获部分关系信号，但丢失了超边的原生分组语义。因此，结果支持了我们的核心主张：保留顶点-超边关联结构，对于建模高阶关联至关重要。
6 结论
在本文中，我们引入了“作为语言的超图”视角，并提出了Hyper-Align——这是首个针对LLM的超图原生对齐框架。与依赖成对图表示的现有图-LLM不同，Hyper-Align通过“作为语言的超图”协议直接表示顶点-超边关联结构，利用HIDT-O编码细粒度的高阶上下文，并通过HIP将超图标记与LLM标记空间对齐。为了支持系统评估，我们构建了HyperAlign-Bench，它涵盖了域内和零样本设置下的顶点级和超边级任务。大量实验表明，我们的Hyper-Align显著优于当前的HGNNs、基于PLM的方法、通用LLM以及图-LLM。希望Hyper-Align能为构建能够理解和推理复杂高阶关联的语言对齐模型提供一个有用的基础。
