最近，一篇名为 FreeStyle 的研究在社区中引发了广泛关注。它的完整标题是“FreeStyle: Free Control of Style-Content Dual-Reference Generation from Community LoRA Mining”。名称虽然稍显冗长，但核心问题其实非常贴近实际应用：当你同时向模型提供一张“内容参考图”和一张“风格参考图”时，它能否在保留内容图像主体结构的同时，精准学习风格图中的颜色、笔触与材质，并且避免将风格图里的人物、物体或场景一同复制到生成结果中？
论文地址：arXiv 2606.20506
这个任务听起来直观明了，但实际操作起来却相当棘手。原因很简单：一张风格参考图从来不仅仅包含“风格”本身——它还承载着具体的主体、构图、姿态、场景以及局部细节。当模型在学习风格时，很容易顺手将这些内容信息也带入生成结果中，这就是论文中提到的“content leakage”，即内容泄漏问题。
图 1：整体流程展示
从社区 LoRA 中挖掘数据
FreeStyle 的核心出发点之一，是将社区中大量现成的 LoRA 作为天然的数据资源加以利用。在当前的 AIGC 生态中，LoRA 已经丰富到几乎覆盖了所有领域：有些专门对应某种绘画风格，有些则对应某类角色、物体或视觉概念。与其从零开始构建风格数据集，不如直接利用这些现成的资源——社区 LoRA 本身就包含了大量长尾风格和复杂视觉概念。
因此，这项研究并非简单收集图像，而是设计了一套完整的“community LoRA mining”管线：从 Civitai、TensorArt、Liblib 等平台收集 LoRA，筛选出稳定可用的内容 LoRA 和风格 LoRA，再通过生成、验证与组合的方式，构建高质量的内容-风格监督数据。
最终，FreeStyle 构建了两类数据集：
第一类是 SRef 风格参考数据，用于传统风格参考生成。输入是一张内容图和一张风格图，目标是生成风格化后的内容图。这部分数据大约包含 619K 条序列，覆盖 622 种风格。
第二类是更复杂的 CRef + SRef 双参考数据，同时包含内容参考图、风格参考图、文本指令和目标图像，用于训练模型在双参考条件下完成更可控的生成。这部分数据约 480K 条序列，覆盖 1,704 种风格。
FreeStyle 的数据构建流程
论文中的数据管线可以概括为三个阶段。
第一步：单个 LoRA 的筛选。社区 LoRA 质量参差不齐，有些 trigger word 不稳定，有些生成结果不一致，有些则本身就混合了内容与风格。因此，FreeStyle 会先根据 base model、metadata、trigger word、demo image 和生成结果，对 LoRA 进行筛选与分类。
第二步：单 LoRA 生成结果的筛选。即使一个 LoRA 本身可用，它生成的每张图也不一定都符合要求。论文中会利用 prompt pool 和 ComfyUI workflow 批量生成候选图像，再结合视觉语言模型和特征相似度等方式，筛掉不稳定或不一致的样本。
第三步：内容 LoRA 与风格 LoRA 的组合筛选。双 LoRA 组合并非简单叠加。一个内容 LoRA 可能自带较强的风格，而一个风格 LoRA 也可能改变主体结构。如果两者不兼容，生成结果就会出现内容漂移或风格泄漏。因此，FreeStyle 会进一步验证 content-style pair 的兼容性，只保留稳定的组合。
两阶段训练：分别处理两类内容泄漏
除了数据构建，FreeStyle 的另一个重点是训练策略。论文采用了一个 two-stage curriculum，即两阶段训练流程。
第一阶段：学习稳定的风格参考生成
第一阶段主要使用 SRef 风格参考数据，目标是让模型首先学会：在给定内容图和风格图的情况下，如何将风格迁移到内容图上。
论文观察到，SRef 场景中的内容泄漏往往与模型对 style-reference token 的注意力过强有关。尤其是在某些 denoising step 和较浅层 transformer block 中，如果模型过度关注风格参考图，就容易将风格图中的主体、物体或构图也带入最终结果。
为了解决这一问题，FreeStyle 引入了 attention-level enrichment constraint。这个约束的作用是调节模型对风格参考图的注意力分布，使其既能获取足够的风格信息，又不会过度依赖风格图中的具体内容。
左侧展示了泄漏样本和非泄漏样本在 attention map 上的差异；中间展示了双参考架构和 style-reference attention mass ratio 的变化。这能直观地说明为什么需要 attention-level constraint。
第二阶段：学习内容-风格双参考生成
第二阶段进一步引入 CRef + SRef 数据，让模型同时学习内容参考、风格参考和文本指令。
在双参考任务中，泄漏机制会更加复杂。论文指出，问题不仅在于“注意力太强”，还可能来自 RoPE 位置编码带来的局部位置对应。简单来说，模型可能在风格图和输出图之间建立局部 patch 级别的对应关系，从而将风格图里的局部内容复制到生成结果中。
为此，FreeStyle 提出了 frequency-aware RoPE modulation。其核心思想是：在 style-reference branch 中，抑制更容易导致局部复制的高频位置信息，同时增强更偏全局结构和整体风格的低频成分。这样可以减少风格图中的具体内容泄漏，同时保留风格层面的引导。
值得注意的是，这个调制只作用于风格参考分支，不影响内容参考分支。这样做可以尽量保护内容图的结构信息，同时让风格图提供更纯净的风格信号。
开源 Benchmark：更系统地评价风格、内容和指令遵循
FreeStyle 还构建了一个系统化的 benchmark，用于评估 SRef 和 CRef+SRef 两类任务。论文没有只依赖单一指标，而是从多个维度评估生成结果，包括：
- 风格一致性：模型是否学到了风格图的视觉风格
- 内容一致性：模型是否保留了内容参考图中的主体和结构
- 指令遵循：模型是否按照文本 prompt 生成
- 美学质量：生成图是否自然、美观
- 泄漏程度：风格参考图中的具体内容是否被错误复制到结果图里
其中一个比较重要的指标是 CAS（Content Alignment Score）。它基于 DINOv2 特征，并通过 instance normalization 尽量去除风格相关的统计信息，从而更专注于评价内容结构是否被保留下来。这个指标的设计动机非常清晰：在风格迁移任务中，直接用普通图像特征衡量内容相似度，容易被风格变化所干扰。
实验结果：FreeStyle 更强调整体平衡
从实验结果来看，FreeStyle 的优势并非只追求某一个单项指标，而是在风格迁移、内容保持和泄漏抑制之间取得了更好的平衡。
在 SRef benchmark 上，FreeStyle 在开源方法中取得了较好的风格一致性和验证分数，说明它能够比较稳定地学习风格参考图中的视觉属性，同时避免过度破坏内容图结构。
FreeStyle 在保持内容结构的同时，较好地迁移了笔触、纹理、色彩和整体艺术气质。
在更具挑战性的 CRef+SRef benchmark 上，FreeStyle 同样展现出较好的风格迁移能力。这个任务本身存在明显的 trade-off：有些方法内容保持较好，但风格迁移不足；有些方法风格很强，但容易将风格参考图里的内容也带过去。FreeStyle 的目标，就是在这两个方向之间找到更稳健的平衡点。
FreeStyle 在保持内容结构的同时，较好地迁移了笔触、纹理、色彩和整体艺术气质。
消融实验：关键设计确实在减少泄漏
论文还通过消融实验验证了两个核心模块的作用。
第一个是 attention-level enrichment constraint。去掉这个约束后，模型更容易从风格参考图中复制具体内容；加入后，内容泄漏明显降低。这说明注意力层面的调控对于 SRef 风格参考生成至关重要。
第二个是 frequency-aware RoPE modulation。在 CRef+SRef 场景中，如果不进行 RoPE 调制，模型更容易建立风格图与输出图之间的局部对应关系，从而产生内容泄漏。加入该模块后，泄漏现象得到缓解，同时风格迁移能力仍然保留。
论文还比较了基于不同数据来源训练的模型，结果显示 FreeStyle 的 LoRA mining 数据管线在复杂风格和长尾风格上更具优势。这也表明，社区 LoRA 不仅是一个模型插件生态，更可以成为构建大规模风格-内容数据的重要来源。
attention constraint 对减少内容泄漏的作用。没有该约束时，模型更容易复制风格参考中的语义内容。
ROPE 没有调制时，风格图中的局部结构更容易泄漏到输出；加入后，模型更倾向于提取整体风格，而不是复制具体内容。
开源内容
这项研究也提供了较完整的开源资源，包括项目代码、数据集、benchmark、模型权重和 LoRA mining 相关 metadata。
- 项目代码：https://github.com/Blue2Giant/FreeStyle
- 数据集地址：https://huggingface.co/datasets/Blue2Giant/FreeStyle_Dataset
- benchmark 地址：https://huggingface.co/datasets/Blue2Giant/FreeStyle_Bench
- 模型权重地址：https://huggingface.co/Blue2Giant/FreeStyle_Checkpoint
从 GitHub 项目结构来看，仓库主要包含几个部分：用于社区 LoRA 数据生产的 pipeline 代码；社区 LoRA 的元数据；用于多模型推理和 benchmark 评测的模块；以及 FreeStyle 模型的最小推理 demo。
这使得这项研究不仅展示了一个模型的效果，还提供了一套相对完整的流程：从社区 LoRA 挖掘，到数据构建，再到模型训练、benchmark 评测和推理复现。
小结
整体来看，FreeStyle 的贡献可以概括为三点。
第一，它提出了一套从社区 LoRA 中挖掘内容-风格监督数据的管线。相比人工构造或小规模收集，这种方式能更好地覆盖复杂风格和长尾风格。
第二，它针对双参考生成中的内容泄漏问题，提出了两阶段训练策略，并分别使用 attention-level enrichment constraint 和 frequency-aware RoPE modulation 来抑制不同形式的泄漏。
第三，它构建了一个更系统化的 benchmark，从风格、内容、指令遵循、美学质量和泄漏程度等多个维度评价模型，而不是只看单一指标。
FreeStyle 的意义不仅在于提出了一个新的风格迁移模型，更在于展示了一种新的思路：社区 LoRA 生态本身可以被系统性挖掘，转化为大规模、多样化、可监督的内容-风格生成数据。对于后续的风格参考生成、内容-风格双参考生成，以及更广泛的多图参考可控生成任务，这项研究都提供了一个值得参考的数据管线、训练策略和评测基线。