stable diffusion模型选择-凯发ag旗舰厅

模型安全提示

见

.ckpt 和 .pt 文件使用 加载模型，而pickle 模块在设计上并不安全。

所以模型种可能含有恶意数据，可使得加载期间执行任意代码。原则上，您应该只加载您信任的数据。永远不要加载可能未知来源的、或可能被篡改的模型。

如果杀毒软件拦截，有可能创建者向文件中注入了恶意的 python 代码。

webui 内置了一定的安全检查，如果你使用 automatic1111 的 webui, 其在这方面做了一些验证。对于不安全的文件，会提示

the file may be malicious, so the program is not going to read it.you can skip this check with --disable-safe-unpickle commandline argument.

值得注意的是，出现该提示并不一定表明文件一定危险，有时由于网络问题、内存问题无法完整加载模型时也会出现此提示。 可以结合该提示上方与下方的报错综合分析具体出错原因。

可以通过此脚本检查风险：

另外，你可以在 看到一个简单的检查脚本。

相关项目 。

raise pickle.unpicklingerror("global '%s/%s' is forbidden"%(module, name))

如果你运行脚本得到了类似 "global something.something is forbidden" 这意味着检查点试图做坏事，可能有危险。

模型选择

模型使用的数据集和标签对于效果影响非常重要，在使用之前要先了解数据来源。

stable diffusion 模型

stable diffusion 模型适用于生成与照片、艺术品类似的图像。基于 数据集训练。

提示词常用连贯的自然语言句子描述一个物体，如：

a horse running on the moon

下载地址：

• • 安装方法：

  
  

waifu diffusion 模型

waifu diffusion 模型采用 danbooru 数据集中图片与标签训练，适用于生成各类二次元图像。

提示词常用 danbooru 提供的标签组合，如：

1girl, white hair, blue dress, black shoes

下载地址：

novelai 泄露模型

novelai 模型采用 danbooru 数据集中图片与标签训练，适用于生成各类二次元图像。

提示词常用 danbooru 提供的标签组合、与部分私有标签，如：

masterpiece, best quality, 1girl, white hair, blue dress, black shoes

使用该模型的 models 文件夹结构大致如下：

./models
├── hypernetworks
│   ├── aini.pt
│   ├── anime_2.pt
│   ├── anime_3.pt
│   ├── anime.pt
│   ├── furry_2.pt
│   ├── furry_3.pt
│   ├── furry_kemono.pt
│   ├── furry_protogen.pt
│   ├── furry.pt
│   ├── furry_scalie.pt
│   ├── furry_transformation.pt
│   └── pony.pt
├── stable-diffusion
│   ├── model.ckpt -> 任意一个 ckpt 文件
│   ├── model.vae.pt -> animevae.pt
│   ├── model.yaml -> 与 model.ckpt 同文件夹的 config.yaml (无须使用)
│   └── ......

此处给出的文件名仅为示例。可根据自己喜好增删或改名。注意不同扩展名的文件应当拥有相同的前缀。

part 1

part 1 中较常用的文件列举如下：

注意，.yaml 与 .vae.pt 的名称应该与 .ckpt 文件相对应。

hypernetworks 包含了 stableckpt/modules/modules 里的文件，是风格相关的数据集，可以作为特定人物的 embedding model 调用，和 model 使用可以生成特定风格。主要格式为 *.pt。需要在 webui 的设置标签页启用这个增强模型。

part 2

prodmodels 是 gpt 模型(语言处理)，但是实际用了 clip，所以不用我们管。

random_stableckpt 是一些模型，有的与 part1 重复

启动 cli 有提示加载就即可，同时可以去设置选模型那里选喜欢的 hypernetwork

使用 latest (7g) 还是 pruned (4g) 模型

4gb 的模型由 7gb 的模型修剪而来，去除了最后一次的权重，留下了 ema 权重。

个人用户只需要使用 pruned 4 gb 模型。使用 latest 会过度占用 ram 和 vram。

且 nai 在线上也使用 ema 权重，所以选择 latest 7gb 模型是没有意义的。

。

详细介绍

拆包视频可以看

杂项

• 猜测模型中 masterpiece, best quality 等在 danbooru 中不存在的标签有可能是为了适应商业需求而进行补充标记的。

• 猜测 full 模型投入了所有的数据，未经清洗。而 sfw (curated) 模型则数据更加精确，应该受过清洗。这导致了 full 模型的不稳定。

• 在 “事件 2” 中，我们看到了很多其他的模型，比如 wallpaper 模型，它们应该使用了不同的数据集进行训练。

• 有些模型可能是根据 rating 进行分类的。

但是事实上我们并不知道细节，所以以上只是猜测并且不可信的。

anything 2.1 / 3.0

融合模型，适用于生成各类二次元图像。

下载地址：

sd pokemon diffusers

经过微调的 stable diffusion 模型，专注于生成宝可梦图片。

见 。

sd pixelart spritesheet generator

经过微调的 stable diffusion 模型，专注于生成多个方向的像素小人。

见 。

风格化

furry 超网络模型比较

其他超网络模型比较

参考参数：

masterpiece, best quality, masterpiece, 1girl, solo, outdoors, flowers, dancing

negative prompt: nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts,signature, watermark, username, blurry, artist name

steps: 28, sampler: euler, cfg scale: 12, seed: [see column], size: 512x512, model hash: 925997e9, hypernet: [see row]

结论

aini 有一种你可能不喜欢的强烈风格，我认为它具有最高的一致性和质量。

anime_3 是该系列中质量最高的，但它们都有些不一致. 我一般不会推荐他们。

可以看到 furry 的超网络在添加动物特征方面更加激进，因此这里更保守的变化可能与采样器、步骤和 cfg 有关。