大型语言模型（LLM）的出现统一了语言生成任务，并彻底改变了人机交互。然而，在图像生成领域，能够在单一框架内处理各种任务的统一模型在很大程度上仍未得到探索。近日，智源推出了新的扩散模型架构 OmniGen，一种新的用于统一图像生成的多模态模型。

OmniGen 具有以下特点：

统一性：OmniGen 天然地支持各种图像生成任务，例如文生图、图像编辑、主题驱动生成和视觉条件生成等。此外，OmniGen 可以处理经典的计算机视觉任务，将其转换为图像生成任务。

简单性：OmniGen 的架构高度简化。此外，与现有模型相比，它更加用户友好，可以通过指令完成复杂的任务，而不需要冗长的处理步骤和额外的模块 (如 ControlNet 或 IP-Adapter)，从而大大简化了工作流程。

知识迁移：受益于统一格式的学习，OmniGen 有效地跨不同任务迁移知识，应对未见过的任务和领域，并展示新颖的功能。我们还探讨了模型的推理能力和思维链机制的在图像生成领域的潜在应用。

基于 OmniGen 的通用能力，可实施更灵活的图像生成，以上展示一个简单 Pipeline：文本生成图像，编辑生成图像的部分元素，根据生成图像的人体姿态生成重绘图像，从另一图像中提取所需对象与新图像融合。

一、介绍

近年来，许多文生图模型在生成式 AI 的浪潮中脱颖而出。然而，这些出色的专有模型仅能基于文本生成图像。当用户产生更灵活、复杂、精细等的图像生成需求时，往往需要额外的插件和操作。

例如，若想参考任一姿态生成图像，常规方法是：用姿态检测器从参考图像中估计姿态作为条件输入，并加载对应的 Controlnet 插件，最后提取条件输入的特征馈入扩散模型生成图像。

此外，若想基于合照中的特定人物生成新图像，流程更加繁琐，需要裁剪图像以确保结果图像仅包含目标人物。

而诸如 InstandID 等方法还需使用额外的人脸检测器提取面部信息，并用面部编码器提取特征以输入模型。

值得注意的是，各种不同的生成任务甚至还需更多不同的插件和操作，如此复杂、琐碎而冗长的工作流极大地增加了训练和应用的成本。然而，即便如此繁琐，有时也仍难以满足一般的图像生成的需求，例如基于指定多张照片中的实体生成新图像。

相反，在文本生成领域，以 ChatGPT 为代表的模型可通过人类指令直接处理各种文本任务。那么，在图像生成领域，能否通过单个支持多种输入且耦合多项能力的模型，基于用户指令完成各种生成任务，而无需各种繁杂的流程吗？

为解决这一挑战性问题，智源发布了统一图像生成模型 OmniGen。OmniGen 模型具有良好的简洁性和易用性，集成了多种基础图像生成任务，包括但不限于：文生图、图像编辑、角色一致性生成、基于视觉条件的生成等。OmniGen 支持基于任意多模态的文图指令完成任务，而无需任何其他额外插件和操作。

二、能力

OmniGen 集多项能力于一体，包括但不限于：

文本到图像生成 (Text to Image Generation)

指代表达生成 (Referring Expression Generation)

通用图像条件生成 (General Image Conditional Generation)

图像编辑 (Image Edit)

经典计算机视觉任务：图像去噪、边缘检测、姿态估计等

一定的上下文学习能力 (In-context Learning)

以下简要展示部分能力效果：

2.1 文本到图像生成

2.2 指代表达生成

OmniGen 具备类似 InstandID、Pulid 等模型生成角色一致性图像等能力，即：输入具有单个对象的图像，理解并遵循指令，输出基于该对象的新图像。

同时，OmniGen 具有更高阶的能力：指代表达生成能力，我们把这种能力定义为能够从包含多个对象的图像中，识别指令所指代的对象并生成新的图像。

例如，OmniGen 可根据指令直接从多人图像中定位目标对象，并生成遵循指令的新图像，而无需任何额外的模块和操作：