有两种主要技术可以微调检查点模型,即额外的训练或使用Dreambooth扩展。这些方法涉及从Stable Diffusion v2.1或v1.5等基本模型开始。

其他训练
其他训练包括训练基础模型,例如Stable Diffusion v2.1,其中包含专注于特定感兴趣区域的附加数据集。例如,您可以使用狗图像的补充数据集来训练模型,以使其生成偏向于此特定狗子类型的美学。

Dreambooth
2022年,谷歌研究团队推出了Dreambooth,这是一种通过将自定义主题合并到模型中来微调扩散模型的技术,特别是稳定扩散。
Dreambooth方法使用一些输入图像(通常为3-5张)和相应的类名(例如,"A photo of a [V] dog"),创建一个个性化的文本到图像模型,该模型对主题的唯一标识符(在本例中为 [V])进行编码。

在推理过程中,可以将此标识符植入不同的句子中,以在不同的上下文中合成主题。