Stable Diffusion实战:一些艺术风格提示词

Stable Diffusion XL offers several artistic styles for image generation. No style, Enhance, Anime, Photographic, Digital Art, Comic book, Fantasy art, Analog film, Neon punk, Isomteric, Low poly, Origami, Line Art, Craft clay, Cinematic, 3D model, and Pixel Art.

Stable Diffusion实战:什么是 Stable Diffusion XL 或 SDXL
Stable Diffusion XL (SDXL) 是最新的AI图像生成模型,可以生成逼真的人脸、图像中清晰的文本和更好的图像构图,同时使用更短、更简单的提示。
就像它的前身一样,SDXL能够使用图像到图像提示、修复(重新构想图像的选定部分)和外绘(创建位于图像边界之外的新部分)来生成图像变化。
Stable Diffusion XL目前可通过DreamStudio和其他图像生成应用程序(如NightCafe Studio和ClipDrop)获得。Stable Diffusion XL模型可在HuggingFace下载。
Stable Diffusion实战:检查点合并模型
检查点合并模型是合并两个或多个检查点模型的模型。检查点合并模型的好处是,每个模型都带有一组微调的美学,通过将它们组合在一起,您可以使用它们生成真正非凡的图像。
创建良好的检查点合并模型的关键是使用彼此对齐的模型。将同一种艺术美学结合起来,只会丰富扩散模型的输出。
您可以直接从AUTOMATIC1111s WebUI创建检查点合并模型。

您可以从AUTOMATIC1111s Checkpoint Merger选项卡创建checkpoint merge safetensors -file。

在"检查点合并"选项卡中,可以选择主要、次要和第三模型以创建检查点合并。

最好使用safetensors作为检查点格式。如果您有自定义VAE或体验过某些VAE产生良好的结果,您还可以从UI(用户界面)烘焙VAE。

完成所需的选择后,单击"合并"开始合并操作。可以在以下文件夹中找到合并的文件:*stable-diffusion-webui\models\Stable-diffusion

Stable Diffusion实战:各版本链接
Stable Diffusion实战:在哪里可以找到检查点模型?
检查站模型(微调)的最大网站是Civitai和Hugging Face。在Hugging Face中,您可以找到Stable Diffusion基础模型和用户生成的检查点模型。从Civitai中,您主要可以找到用户生成的检查点模型以及LyCORIS、文本反转、LoRA等。

Civitai中的大多数检查点模型都基于某个版本的Stable Diffusion或多个用户生成的模型的合并(检查点合并模型)。
Stable Diffusion实战:如何微调检查点模型?
有两种主要技术可以微调检查点模型,即额外的训练或使用Dreambooth扩展。这些方法涉及从Stable Diffusion v2.1或v1.5等基本模型开始。

其他训练
其他训练包括训练基础模型,例如Stable Diffusion v2.1,其中包含专注于特定感兴趣区域的附加数据集。例如,您可以使用狗图像的补充数据集来训练模型,以使其生成偏向于此特定狗子类型的美学。

Dreambooth
2022年,谷歌研究团队推出了Dreambooth,这是一种通过将自定义主题合并到模型中来微调扩散模型的技术,特别是稳定扩散。
Dreambooth方法使用一些输入图像(通常为3-5张)和相应的类名(例如,"A photo of a [V] dog"),创建一个个性化的文本到图像模型,该模型对主题的唯一标识符(在本例中为 [V])进行编码。

在推理过程中,可以将此标识符植入不同的句子中,以在不同的上下文中合成主题。

Stable Diffusion实战:如何创建检查点模型?
检查点模型创建包括UNet参数、转换器块、预训练文本编码器和池化文本嵌入等技术。
创建检查点文件或检查点基础模型需要大量的计算资源和大量的训练数据集。LAION是数据集开发的最大贡献者之一。
Stability AI是发布和构建基础检查点模型的最重要贡献者之一。
到目前为止,Stability AI已经发布了Stable Diffusion 1.5、2.0、2.1和SDXL(0.9等),所有这些都是可以进一步微调的基础检查点模型(一些许可证限制适用于SDXL基础模型)。
Stable Diffusion实战:稳定扩散基础模型与微调模型的区别
稳定扩散 (SD) 基础模型使用海量数据集(例如LAION-2B-EN或类似数据集)进行训练。训练需要大量的计算资源,并且是一个有点复杂的过程。因此,标清基础模型是一个通用的AI图像生成器的基础。

SD可以擅长所有事情,但并不出色。出于这个原因,用户开始微调基础模型,使其更有能力生成特定类型的图像。微调模型是Stability AI发布的基础模型的改进版本,使用更小的数据集进行了微调。

虽然检查点模型被命名为Realistic Vision、GhostMix等,但它们所基于的基本模型通常是Stable Diffusion的某个版本。
Stable Diffusion实战:什么是微调 Fine-Tuning
微调是一种机器学习技术,其中预训练的模型在特定数据集上进一步训练。它允许模型生成类似于窄数据集的图像,同时保留原始模型的一般功能。
虽然最初的Stable Diffusion版本1.5、2.1等已经使用广泛的数据集进行了训练,但在涉及特定艺术风格或主题时,这些模型有所欠缺。出于这个原因,您可以从Civitai等网站找到数千个用户生成的检查点模型,这些模型根据特定主题、想法、概念、艺术风格或美学进行了微调。
Stable Diffusion实战:什么是SDXL

SDXL(Stable Diffusion XL)是一种用于文本到图像合成的潜在扩散模型(.ckpt文件),是Stability AI(全球领先的开源人工智能公司)开发的最新生成模型。与其他图像生成器相比,SDXL的性能和竞争结果显著提高。

Stable Diffusion:什么是检查点模型?checkpoint
检查点模型是预先训练的稳定扩散权重,也称为检查点文件 (.ckpt)。CKPT文件是由PyTorch Lightning,PyTorch研究框架创建的检查点文件。检查点(或 .ckpt)格式存储和保存模型。.ckpt文件包含整个模型,大小通常为几GB。
Checkpoint模型用于创建AI(人工智能)艺术,输出取决于训练Checkpoint模型的训练数据集。
如果训练数据集不包含一只或多只猫的图像,则检查点模型无法生成猫图像。
Stable Diffusion各model存放位置
ModelDirectory/FolderFile typesHow to use in prompt
Checkpoints*\stable-diffusion-webui\models\Stable-diffusion*.ckpt, *.safetensors(select a checkpoint model from the upper left-hand corner of the Web UI)
Hypernetworks*\stable-diffusion-webui\models\hypernetworks*.pt, *.ckpt, *.safetensors<hypernet:filename:multiplier>
LoRA*\stable-diffusion-webui\models\Lora*.pt<lora:filename:multiplier>
Textual Inversion*\stable-diffusion-webui\embeddings*.pt, *.safetensors, imagesembedding’s filename
LyCORIS*\stable-diffusion-webui\models\LyCORIS*.safetensors<lyco:filename:multiplier>
Stable Diffusion多显卡配置

1. 用环境变量参数

set CUDA_VISIBLE_DEVICES=0,1
.\webui.bat --medvram

2. 命令行参数

.\webui.bat --medvram --device-id=0,1

两种方案皆可。

如何使用 Google Colab 运行Stable Diffusion?

Google Colab是一个免费的在线平台,可让您直接从浏览器开发和运行代码。要使用Google Colab运行Stable Diffusion,您将需要:网络浏览器、需要Google账户、 Google Colab记事本。

步骤1:找到一个具有您想要使用的功能的Google Colab笔记本。推荐TheLastBen Fast Stable Diffusion AUTOMATIC1111笔记本。

要使用它,请转到GitHub页面并从可能的选项列表中选择"AUTOMATIC1111"。

步骤2:检查您是否使用有权访问Google Colab的Google账户登录。如果您已用完12小时的免费时间,请转移到其他账户。

步骤3 :运行第一个单元格以连接到您的Google云端硬盘账户。当提示允许笔记本从GitHub提取数据时,单击"仍然运行"。

步骤4:点击"连接到Google Drive"并在弹出窗口中输入您的账户信息。确保授予所需的Google云端硬盘权限。

步骤5:通过运行下一个单元在您的Google Colab上安装AUTOMATIC1111存储库。出现提示时,单击"仍然运行"并等待单元完成。

步骤6:在继续之前,运行"Requirements"单元并等待它安装所需的要求。

步骤7:以下单元格提供了用于导入模型的三个选项:

选择Stable Diffusion 1.5或Stable Diffusion 2.1,这些是未经修改或训练的原始模型。

输入Google Drive路径:如果您已将模型文件夹保存到Google Drive,则可以通过在第二个字段中输入该文件夹的Google Drive路径来一次性导入所有模型文件夹。

导航到文件 > gdrive,右键单击模型文件夹,然后选择复制路径。

粘贴模型的直接链接:您可以将模型的直接链接粘贴到MODEL_LINK字段中。该连接可能来自Civita或Hugging Face等网站。

导入模型后,继续跳过"Start Stable-Diffusion"单元并运行它。

第一次设置可能需要几分钟,您将看到已完成界面的链接。然后单击它开始生成图像。

stable-diffusion改善图像的最佳稳定扩散负面提示列表

稳定扩散是一个强大的AI图像生成器,但它有时会产生模糊,失真或不符合您期望的图像。这就是负面提示的用武之地。稳定扩散负面提示列表是告诉稳定扩散您不想在图像中看到的内容的说明。

你有没有想过如何用几句话创建令人惊叹的图像?如果是这样,您可能需要查看稳定扩散,这是一个强大的文本到图像扩散模型,可以生成详细的图像,条件是文本描述、外画和图像到图像的翻译。

但是,有时您可能对阻止您获得所需图像的输出不满意。这就是负面提示派上用场的地方。在本文中,我们将向您展示如何在稳定扩散中使用负面提示,它们如何改善您的图像,以及不同类型的图像的最佳负面提示是什么。

 

负面提示?

负面提示是一种告诉稳定扩散您不希望在图像中显示什么的方法。它可以帮助您避免在图像创建中出现不需要的元素、样式或环境。您可以使用负面提示来微调图像输出、删除不需要的对象以及修复任何错误。

 

如何输入否定提示?

要使用稳定扩散负面提示列表,您需要在生成图像之前在第二个文本框中键入它们。第二个文本框在下图中用红色圆圈标记。第一个文本框用于描述图像中所需内容的主要提示。

第二个文本框用于负面提示,告诉 AI 你不希望在图像中出现什么。输入两个提示后,您可以单击生成映像以启动映像创建过程。负面提示是使用稳定扩散负面提示列表自定义图像输出的有效方法。

 

不同类型图像的最佳负面提示

根据要创建的图像类型,可能需要不同的负面提示来解决不同的问题或挑战。例如,如果要创建人物肖像,则可能需要负面提示来修复不良的解剖结构,多余的肢体,克隆的面部,模糊的细节,低对比度,过度等。

例如,您可以使用负面提示,例如“解剖结构不良、比例差、多余肢体、克隆面部、细节模糊、对比度低、颜色曝光过度/曝光不足:-1.0来避免这些问题。另一方面,如果你想创建一个地方的景观,你可能需要负面提示来删除建筑物、汽车、人、动物、云彩等。

例如,您可以使用负面提示(如“建筑物、汽车、人、动物、云:-1.0")来删除这些元素。同样,如果你想创建一个物种的动物,你可能需要负面提示来纠正错误的颜色、图案、形状、大小等。

 

如何尝试负面提示?

使用稳定扩散负面提示列表的最佳方法之一是尝试不同的负面提示。通过尝试负面提示的不同组合和变体,您可以发现图像的新可能性。可用于试验负面提示的一些功能包括:

种子:种子是影响模型输出的随机数。通过更改种子值,可以为同一提示生成不同的输出。您可以使用种子来探索带有负面提示的图像的不同结果和变体。

采样方法:采样方法是确定模型如何从输出的概率分布中采样的算法。通过更改采样方法,可以控制输出的随机性和多样性。您可以使用采样方法在带有负面提示的图像质量和多样性之间取得平衡。

CFG规模:CFG 比例是控制输出上文本条件强度的参数。通过更改 CFG 比例值,您可以控制输出遵循文本提示的程度。您可以使用 CFG 缩放来修改图像与带有负面提示的文本提示的匹配程度。

面部修复:人脸恢复是一项功能,可增强输出中人脸的质量和真实感。通过启用或禁用人脸修复,您可以改进或降级输出中的人脸。您可以使用人脸恢复来优化或试验图像中的人脸,并带有负面提示。

模型哈希:模型哈希是一个参数,用于指定要使用的稳定扩散模型版本。通过更改模型哈希值,您可以访问具有不同功能和特性的不同版本的稳定扩散模型。您可以使用模型哈希在带有负面提示的图像的不同模型之间切换。

 

负面提示如何改善您的图像?

稳定扩散负提示列表可以通过指导生成过程并防止输出中出现不需要的特征来改善图像。有时,稳定扩散可能会生成具有某些缺陷或错误的图像,从而破坏图像的质量或真实感。

例如,它可能会生成解剖结构不良、比例差、多余肢体、克隆面部、细节模糊、对比度低、颜色曝光过度/曝光不足等的图像。这些问题可能会使您的图像看起来不自然或不吸引人。通过使用负面提示,您可以解决这些问题并显着改善图像。

 

如何避免过度使用负面提示?

虽然稳定扩散负面提示列表非常有用且功能强大,但它们也有一些您应该注意的潜在缺点。稳定扩散负面提示列表的主要缺点之一是它们会限制输出的创造力和多样性。

例如,如果您使用负面提示,例如“没有人类,没有动物,没有植物,没有建筑物,没有汽车,没有云:-1.0”,你最终可能会得到一个空洞或无聊的图像,没有任何有趣或吸引人的内容。稳定扩散负面提示列表的另一个缺点是它们可能导致平淡或不真实的图像。

如果使用过于模糊或笼统的稳定扩散负面提示列表,则最终可能会删除或减少某些对于图像类型必不可少或自然的特征或元素。例如,如果您使用负面提示,例如“无颜色:-1.0”,则最终可能会得到缺乏活力和真实感的灰度图像。

 

提示和技巧

  • 使用描述性字词或短语来捕捉要从输出中排除的内容的本质。
  • 使用同义词或相关词来涵盖更多可能性和变体。
  • 使用修饰符或限定符缩小或扩大否定提示的范围。一般词语,如“人类、生物、生物等”。
  • 使用否定或对立来反转否定提示的含义。

您还可以查看我们的博客,稳定扩散NSFW – Google Colab中的提示模型,以获取有关Google Colab中稳定扩散NSFW提示模型的更多提示和教程。稳定扩散是一个强大的工具,允许用户根据文本提示生成逼真的图像。

 

常见问题

什么是稳定扩散?

稳定扩散是一种强大的文本到图像扩散模型,可以生成以文本描述、外画和图像到图像翻译为条件的详细图像。

什么是负面提示?

稳定扩散负面提示列表是指定要从输出中排除的内容的单词,例如“丑陋、变形等”。通过使用提示,您可以指导图像的生成过程。

使用稳定扩散负面提示列表的缺点是什么?

使用稳定扩散负面提示列表的主要缺点之一是它们会限制输出的创造力和多样性。

 

稳定扩散负面提示列表是指定要从输出中排除的内容的单词,例如"丑陋、变形等"。通过使用负面提示,您可以引导生成过程中不需要的特征出现在图像中。稳定的扩散负面提示列表可以帮助您提高图像的质量和风格。

  • 当前日期:
  • 北京时间:
  • 时间戳:
  • 今年的第:17周
  • 我的 IP:3.133.144.147
农历
五行
冲煞
彭祖
方位
吉神
凶神
极简任务管理 help
+ 0 0 0
Task Idea Collect