---
base_model:
- ByteDance-Seed/BAGEL-7B-MoT
license: apache-2.0
library_name: transformers
---
**中文** | [EN](README.md)
# ConsistCompose：面向图像合成的统一多模态布局控制
## 概述
尽管融合视觉理解与图像生成的统一多模态模型已取得显著进展，但多实例图像合成中的精准布局控制仍是一个尚未充分探索的挑战。现有方法往往依赖于任务专用模块或结构化空间编码器，限制了其与视觉推理、身份保持等更通用的多模态能力的兼容性。
在本项工作中，我们提出了 **ConsistCompose**——一个基于语言驱动范式的统一多模态框架，旨在实现布局可控的多实例生成。该框架基于 Bagel 的 MoT 架构构建，创新性地引入了语言嵌入布局锚定生成（Linguistic-Embedded Layout-Grounded Generation, LELG）方法，将布局坐标直接嵌入语言提示作为文本标记，无需专用的空间编码器或几何分支。为支撑大规模训练，我们构建了 **ConsistCompose3M** 数据集，包含 340 万带布局和身份标注的样本，其中 260 万文本引导样本和 80 万图像引导样本，为模型提供结构化的空间和语义监督。
ConsistCompose 在布局控制生成基准测试中达到了当前最优（SOTA）性能：在 COCO-Position 数据集上，布局 IoU 提升 7.2%，AP 指标提升 13.7%（实例成功率 92.6%，图像成功率 76.1%），同时在 MS-Bench 和 MS-Bench-Random 数据集的核心指标（DINO、mIoU、AP）上均排名第一。值得注意的是，该框架在增强多参考生成的身份保持能力的同时，仍保持了强大的通用多模态能力——在 MMBench、MMMU 和 GenEval 等基准上的性能与 Bagel 基础模型相当。核心组件 Coordinate-CFG 通过分层无分类器引导进一步增强了空间保真度，在严格的布局依从性和视觉真实感之间实现了平衡。
更重要的是，ConsistCompose 建立了一种统一范式，将基于布局的文本到图像合成、多参考身份保持合成以及通用多模态理解整合到单一生成接口中。我们分析了坐标引导缩放的影响，验证了 LELG 范式的灵活性，并证明其能够处理复杂、杂乱的布局且不损失语义一致性。ConsistCompose 为布局可控的多模态生成提供了一种规范的解决方案，为更精细的空间推理和交互式场景合成指明了未来方向。
所有技术细节、训练方案和补充实验结果均已开源，以推动布局感知统一多模态系统的进一步研究。
## 版本发布信息
我们正式发布 [**ConsistCompose-BAGEL-7B-MoT**](https://huggingface.co/sensenova/ConsistCompose-BAGEL-7B-MoT)，该模型基于统一的理解与生成基础模型构建。
具体的细节在 [**ConsistCompose 技术报告**](https://arxiv.org/abs/2511.18333) 中报道，我们的**ConsistCompose-BAGEL-7B-MoT**完整保留了原始 BAGEL 模型的通用图像生成与理解能力，同时新增了增强型布局控制功能，可实现精准的多实例合成。
# 1 COCO-Position 数据集实验结果
| 方法 |
实例成功率 (%) ↑ |
图像成功率 (%) ↑ |
位置精度 (%) ↑ |
| L2 | L3 | L4 | L5 | L6 | 平均值 |
L2 | L3 | L4 | L5 | L6 | 平均值 |
mIoU | AP | AP50 | AP75 |
| GLIGEN |
89.1 | 86.3 | 82.0 | 79.6 | 81.6 | 82.6 |
78.8 | 63.8 | 48.1 | 35.0 | 35.0 | 52.1 |
69.0 | 40.5 | 75.9 | 39.1 |
| InstanceDiffusion |
94.1 | 94.4 | 89.5 | 84.6 | 83.8 | 87.8 |
89.4 | 84.4 | 67.5 | 46.9 | 39.4 | 65.5 |
78.1 | 57.2 | 83.6 | 65.5 |
| MIGC++ |
94.1 | 92.1 | 87.3 | 84.1 | 83.4 | 86.8 |
89.4 | 78.1 | 62.5 | 48.1 | 38.8 | 63.4 |
74.9 | 48.3 | 79.2 | 52.6 |
| CreatiLayout |
81.9 | 76.3 | 73.4 | 73.5 | 71.2 | 74.0 |
69.4 | 48.1 | 36.9 | 31.9 | 26.3 | 42.5 |
64.9 | 32.4 | 61.1 | 31.6 |
| PlanGen |
85.3 | 84.2 | 83.8 | 80.9 | 81.2 | 82.5 |
72.5 | 63.1 | 51.3 | 33.1 | 31.3 | 50.3 |
66.2 | 31.9 | 74.0 | 21.5 |
| 我们的方法 |
95.6 | 94.2 | 92.7 | 90.6 | 92.4 | 92.6 |
91.9 | 83.1 | 73.1 | 63.7 | 68.8 | 76.1 |
85.3 | 70.9 | 89.1 | 76.9 |
# 2 MS-Bench 和 MS-Bench-Random 数据集实验结果
| 方法 |
MS-Bench |
MS-Bench-Random |
| CLIP-T | DINO | mIoU | AP |
CLIP-T | DINO | mIoU | AP |
| GLIGEN |
0.309 | 0.454 | 0.868 | 0.751 |
0.312 | 0.431 | 0.858 | 0.722 |
| MS-Diffusion |
0.336 | 0.555 | 0.466 | 0.108 |
0.334 | 0.544 | 0.464 | 0.105 |
| MUSE |
0.320 | 0.619 | 0.698 | 0.352 |
0.321 | 0.607 | 0.673 | 0.303 |
| 我们的方法 |
0.333 | 0.660 | 0.889 | 0.789 |
0.334 | 0.630 | 0.878 | 0.756 |
# 3 MMBench、MMMU、GenEval、GEdit 数据集实验结果
| (a) 通用能力 |
| 模型 |
MMBench↑ |
MMMU↑ |
GenEval↑ |
GEdit↑ |
| Bagel 基础版 |
81.4 |
46.4 |
0.86 |
6.68 |
| 我们的方法（无坐标） |
81.5 |
39.4 |
0.88 |
6.23 |
| 我们的方法（有坐标） |
81.4 |
42.3 |
0.88 |
6.31 |
# 4 DreamBench（单实例/多实例）数据集实验结果
| 方法 |
单实例 |
多实例 |
| DINO |
CLIP-I |
CLIP-T |
DINO |
CLIP-I |
CLIP-T |
| UNO |
0.661 |
0.796 |
0.304 |
0.491 |
0.715 |
0.323 |
| OmniGen |
0.554 |
0.746 |
0.322 |
0.441 |
0.692 |
0.341 |
| OmniGen2 |
0.671 |
0.791 |
0.312 |
0.459 |
0.698 |
0.333 |
| 我们的方法 |
0.677 |
0.792 |
0.314 |
0.506 |
0.703 |
0.335 |
## 🖊️ 引用格式
```bibtex
@article{shi2025consistcompose,
title={ConsistCompose: Unified Multimodal Layout Control for Image Composition},
author={Shi, Xuanke and Li, Boxuan and Han, Xiaoyang and Cai, Zhongang and Yang, Lei and Lin, Dahua and Wang, Quan},
journal={arXiv preprint arXiv:2511.18333},
year={2025}
}