README_CN.md

metadata

base_model:
  - ByteDance-Seed/BAGEL-7B-MoT
license: apache-2.0
library_name: transformers

中文 | EN

ConsistCompose：面向图像合成的统一多模态布局控制

概述

尽管融合视觉理解与图像生成的统一多模态模型已取得显著进展，但多实例图像合成中的精准布局控制仍是一个尚未充分探索的挑战。现有方法往往依赖于任务专用模块或结构化空间编码器，限制了其与视觉推理、身份保持等更通用的多模态能力的兼容性。

在本项工作中，我们提出了 ConsistCompose——一个基于语言驱动范式的统一多模态框架，旨在实现布局可控的多实例生成。该框架基于 Bagel 的 MoT 架构构建，创新性地引入了语言嵌入布局锚定生成（Linguistic-Embedded Layout-Grounded Generation, LELG）方法，将布局坐标直接嵌入语言提示作为文本标记，无需专用的空间编码器或几何分支。为支撑大规模训练，我们构建了 ConsistCompose3M 数据集，包含 340 万带布局和身份标注的样本，其中 260 万文本引导样本和 80 万图像引导样本，为模型提供结构化的空间和语义监督。

ConsistCompose 在布局控制生成基准测试中达到了当前最优（SOTA）性能：在 COCO-Position 数据集上，布局 IoU 提升 7.2%，AP 指标提升 13.7%（实例成功率 92.6%，图像成功率 76.1%），同时在 MS-Bench 和 MS-Bench-Random 数据集的核心指标（DINO、mIoU、AP）上均排名第一。值得注意的是，该框架在增强多参考生成的身份保持能力的同时，仍保持了强大的通用多模态能力——在 MMBench、MMMU 和 GenEval 等基准上的性能与 Bagel 基础模型相当。核心组件 Coordinate-CFG 通过分层无分类器引导进一步增强了空间保真度，在严格的布局依从性和视觉真实感之间实现了平衡。

更重要的是，ConsistCompose 建立了一种统一范式，将基于布局的文本到图像合成、多参考身份保持合成以及通用多模态理解整合到单一生成接口中。我们分析了坐标引导缩放的影响，验证了 LELG 范式的灵活性，并证明其能够处理复杂、杂乱的布局且不损失语义一致性。ConsistCompose 为布局可控的多模态生成提供了一种规范的解决方案，为更精细的空间推理和交互式场景合成指明了未来方向。

所有技术细节、训练方案和补充实验结果均已开源，以推动布局感知统一多模态系统的进一步研究。

版本发布信息

我们正式发布 ConsistCompose-BAGEL-7B-MoT，该模型基于统一的理解与生成基础模型构建。

具体的细节在 ConsistCompose 技术报告 中报道，我们的ConsistCompose-BAGEL-7B-MoT完整保留了原始 BAGEL 模型的通用图像生成与理解能力，同时新增了增强型布局控制功能，可实现精准的多实例合成。

1 COCO-Position 数据集实验结果

方法	实例成功率 (%) ↑						图像成功率 (%) ↑						位置精度 (%) ↑
	L2	L3	L4	L5	L6	平均值	L2	L3	L4	L5	L6	平均值	mIoU	AP	AP50	AP75
GLIGEN	89.1	86.3	82.0	79.6	81.6	82.6	78.8	63.8	48.1	35.0	35.0	52.1	69.0	40.5	75.9	39.1
InstanceDiffusion	94.1	94.4	89.5	84.6	83.8	87.8	89.4	84.4	67.5	46.9	39.4	65.5	78.1	57.2	83.6	65.5
MIGC++	94.1	92.1	87.3	84.1	83.4	86.8	89.4	78.1	62.5	48.1	38.8	63.4	74.9	48.3	79.2	52.6
CreatiLayout	81.9	76.3	73.4	73.5	71.2	74.0	69.4	48.1	36.9	31.9	26.3	42.5	64.9	32.4	61.1	31.6
PlanGen	85.3	84.2	83.8	80.9	81.2	82.5	72.5	63.1	51.3	33.1	31.3	50.3	66.2	31.9	74.0	21.5
我们的方法	95.6	94.2	92.7	90.6	92.4	92.6	91.9	83.1	73.1	63.7	68.8	76.1	85.3	70.9	89.1	76.9

2 MS-Bench 和 MS-Bench-Random 数据集实验结果

方法	MS-Bench				MS-Bench-Random
	CLIP-T	DINO	mIoU	AP	CLIP-T	DINO	mIoU	AP
GLIGEN	0.309	0.454	0.868	0.751	0.312	0.431	0.858	0.722
MS-Diffusion	0.336	0.555	0.466	0.108	0.334	0.544	0.464	0.105
MUSE	0.320	0.619	0.698	0.352	0.321	0.607	0.673	0.303
我们的方法	0.333	0.660	0.889	0.789	0.334	0.630	0.878	0.756

3 MMBench、MMMU、GenEval、GEdit 数据集实验结果

(a) 通用能力
模型	MMBench↑	MMMU↑	GenEval↑	GEdit↑
Bagel 基础版	81.4	46.4	0.86	6.68
我们的方法（无坐标）	81.5	39.4	0.88	6.23
我们的方法（有坐标）	81.4	42.3	0.88	6.31

4 DreamBench（单实例/多实例）数据集实验结果

方法	单实例			多实例
	DINO	CLIP-I	CLIP-T	DINO	CLIP-I	CLIP-T
UNO	0.661	0.796	0.304	0.491	0.715	0.323
OmniGen	0.554	0.746	0.322	0.441	0.692	0.341
OmniGen2	0.671	0.791	0.312	0.459	0.698	0.333
我们的方法	0.677	0.792	0.314	0.506	0.703	0.335

🖊️ 引用格式

@article{shi2025consistcompose,
  title={ConsistCompose: Unified Multimodal Layout Control for Image Composition},
  author={Shi, Xuanke and Li, Boxuan and Han, Xiaoyang and Cai, Zhongang and Yang, Lei and Lin, Dahua and Wang, Quan},
  journal={arXiv preprint arXiv:2511.18333},
  year={2025}
}