Skip to content

Commit 0eb68d9

Browse files
YasunaCoffeeYasunaCoffee
authored
[Docs] update: tutorials ja | AUTOPIPELINE.md (#6629)
* add en file * translate 1-118 lines * add text * add toctree * fix * fix typo * fix link
1 parent 9941b3f commit 0eb68d9

File tree

2 files changed

+170
-0
lines changed

2 files changed

+170
-0
lines changed

‎docs/source/ja/_toctree.yml

+2
Original file line numberDiff line numberDiff line change
@@ -11,4 +11,6 @@
1111
- sections:
1212
- local: tutorials/tutorial_overview
1313
title: 概要
14+
- local: tutorials/autopipeline
15+
title: AutoPipeline
1416
title: チュートリアル

‎docs/source/ja/tutorials/autopipeline.md

+168
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,168 @@
1+
<!--Copyright 2023 The HuggingFace Team. All rights reserved.
2+
3+
Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with
4+
the License. You may obtain a copy of the License at
5+
6+
http://www.apache.org/licenses/LICENSE-2.0
7+
8+
Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on
9+
an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the
10+
specific language governing permissions and limitations under the License.
11+
-->
12+
13+
# AutoPipeline
14+
15+
Diffusersは様々なタスクをこなすことができ、テキストから画像、画像から画像、画像の修復など、複数のタスクに対して同じように事前学習された重みを再利用することができます。しかし、ライブラリや拡散モデルに慣れていない場合、どのタスクにどのパイプラインを使えばいいのかがわかりにくいかもしれません。例えば、 [runwayml/stable-diffusion-v1-5](https://huggingface.co/runwayml/stable-diffusion-v1-5) チェックポイントをテキストから画像に変換するために使用している場合、それぞれ[`StableDiffusionImg2ImgPipeline`]クラスと[`StableDiffusionInpaintPipeline`]クラスでチェックポイントをロードすることで、画像から画像や画像の修復にも使えることを知らない可能性もあります。
16+
17+
`AutoPipeline` クラスは、🤗 Diffusers の様々なパイプラインをよりシンプルするために設計されています。この汎用的でタスク重視のパイプラインによってタスクそのものに集中することができます。`AutoPipeline` は、使用するべき正しいパイプラインクラスを自動的に検出するため、特定のパイプラインクラス名を知らなくても、タスクのチェックポイントを簡単にロードできます。
18+
19+
<Tip>
20+
21+
どのタスクがサポートされているかは、[AutoPipeline](../api/pipelines/auto_pipeline) のリファレンスをご覧ください。現在、text-to-image、image-to-image、inpaintingをサポートしています。
22+
23+
</Tip>
24+
25+
このチュートリアルでは、`AutoPipeline` を使用して、事前に学習された重みが与えられたときに、特定のタスクを読み込むためのパイプラインクラスを自動的に推測する方法を示します。
26+
27+
## タスクに合わせてAutoPipeline を選択する
28+
まずはチェックポイントを選ぶことから始めましょう。例えば、 [runwayml/stable-diffusion-v1-5](https://huggingface.co/runwayml/stable-diffusion-v1-5) チェックポイントでテキストから画像への変換したいなら、[`AutoPipelineForText2Image`]を使います:
29+
30+
```py
31+
from diffusers import AutoPipelineForText2Image
32+
import torch
33+
34+
pipeline = AutoPipelineForText2Image.from_pretrained(
35+
"runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16, use_safetensors=True
36+
).to("cuda")
37+
prompt = "peasant and dragon combat, wood cutting style, viking era, bevel with rune"
38+
39+
image = pipeline(prompt, num_inference_steps=25).images[0]
40+
image
41+
```
42+
43+
<div class="flex justify-center">
44+
<img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/autopipeline-text2img.png" alt="generated image of peasant fighting dragon in wood cutting style"/>
45+
</div>
46+
47+
[`AutoPipelineForText2Image`] を具体的に見ていきましょう:
48+
49+
1. [`model_index.json`](https://huggingface.co/runwayml/stable-diffusion-v1-5/blob/main/model_index.json) ファイルから `"stable-diffusion"` クラスを自動的に検出します。
50+
2. `"stable-diffusion"` のクラス名に基づいて、テキストから画像へ変換する [`StableDiffusionPipeline`] を読み込みます。
51+
52+
同様に、画像から画像へ変換する場合、[`AutoPipelineForImage2Image`] は `model_index.json` ファイルから `"stable-diffusion"` チェックポイントを検出し、対応する [`StableDiffusionImg2ImgPipeline`] を読み込みます。また、入力画像にノイズの量やバリエーションの追加を決めるための強さなど、パイプラインクラスに固有の追加引数を渡すこともできます:
53+
54+
```py
55+
from diffusers import AutoPipelineForImage2Image
56+
import torch
57+
import requests
58+
from PIL import Image
59+
from io import BytesIO
60+
61+
pipeline = AutoPipelineForImage2Image.from_pretrained(
62+
"runwayml/stable-diffusion-v1-5",
63+
torch_dtype=torch.float16,
64+
use_safetensors=True,
65+
).to("cuda")
66+
prompt = "a portrait of a dog wearing a pearl earring"
67+
68+
url = "https://upload.wikimedia.org/wikipedia/commons/thumb/0/0f/1665_Girl_with_a_Pearl_Earring.jpg/800px-1665_Girl_with_a_Pearl_Earring.jpg"
69+
70+
response = requests.get(url)
71+
image = Image.open(BytesIO(response.content)).convert("RGB")
72+
image.thumbnail((768, 768))
73+
74+
image = pipeline(prompt, image, num_inference_steps=200, strength=0.75, guidance_scale=10.5).images[0]
75+
image
76+
```
77+
78+
<div class="flex justify-center">
79+
<img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/autopipeline-img2img.png" alt="generated image of a vermeer portrait of a dog wearing a pearl earring"/>
80+
</div>
81+
82+
また、画像の修復を行いたい場合は、 [`AutoPipelineForInpainting`] が、同様にベースとなる[`StableDiffusionInpaintPipeline`]クラスを読み込みます：
83+
84+
```py
85+
from diffusers import AutoPipelineForInpainting
86+
from diffusers.utils import load_image
87+
import torch
88+
89+
pipeline = AutoPipelineForInpainting.from_pretrained(
90+
"stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16, use_safetensors=True
91+
).to("cuda")
92+
93+
img_url = "https://raw.githubusercontent.com/CompVis/latent-diffusion/main/data/inpainting_examples/overture-creations-5sI6fQgYIuo.png"
94+
mask_url = "https://raw.githubusercontent.com/CompVis/latent-diffusion/main/data/inpainting_examples/overture-creations-5sI6fQgYIuo_mask.png"
95+
96+
init_image = load_image(img_url).convert("RGB")
97+
mask_image = load_image(mask_url).convert("RGB")
98+
99+
prompt = "A majestic tiger sitting on a bench"
100+
image = pipeline(prompt, image=init_image, mask_image=mask_image, num_inference_steps=50, strength=0.80).images[0]
101+
image
102+
```
103+
104+
<div class="flex justify-center">
105+
<img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/autopipeline-inpaint.png" alt="generated image of a tiger sitting on a bench"/>
106+
</div>
107+
108+
サポートされていないチェックポイントを読み込もうとすると、エラーになります:
109+
110+
```py
111+
from diffusers import AutoPipelineForImage2Image
112+
import torch
113+
114+
pipeline = AutoPipelineForImage2Image.from_pretrained(
115+
"openai/shap-e-img2img", torch_dtype=torch.float16, use_safetensors=True
116+
)
117+
"ValueError: AutoPipeline can't find a pipeline linked to ShapEImg2ImgPipeline for None"
118+
```
119+
120+
## 複数のパイプラインを使用する
121+
122+
いくつかのワークフローや多くのパイプラインを読み込む場合、不要なメモリを使ってしまう再読み込みをするよりも、チェックポイントから同じコンポーネントを再利用する方がメモリ効率が良いです。たとえば、テキストから画像への変換にチェックポイントを使い、画像から画像への変換にまたチェックポイントを使いたい場合、[from_pipe()](https://huggingface.co/docs/diffusers/v0.25.1/en/api/pipelines/auto_pipeline#diffusers.AutoPipelineForImage2Image.from_pipe) メソッドを使用します。このメソッドは、以前読み込まれたパイプラインのコンポーネントを使うことで追加のメモリを消費することなく、新しいパイプラインを作成します。
123+
124+
[from_pipe()](https://huggingface.co/docs/diffusers/v0.25.1/en/api/pipelines/auto_pipeline#diffusers.AutoPipelineForImage2Image.from_pipe) メソッドは、元のパイプラインクラスを検出し、実行したいタスクに対応する新しいパイプラインクラスにマッピングします。例えば、テキストから画像への`"stable-diffusion"` クラスのパイプラインを読み込む場合：
125+
126+
```py
127+
from diffusers import AutoPipelineForText2Image, AutoPipelineForImage2Image
128+
import torch
129+
130+
pipeline_text2img = AutoPipelineForText2Image.from_pretrained(
131+
"runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16, use_safetensors=True
132+
)
133+
print(type(pipeline_text2img))
134+
"<class 'diffusers.pipelines.stable_diffusion.pipeline_stable_diffusion.StableDiffusionPipeline'>"
135+
```
136+
137+
そして、[from_pipe()] (https://huggingface.co/docs/diffusers/v0.25.1/en/api/pipelines/auto_pipeline#diffusers.AutoPipelineForImage2Image.from_pipe)は、もとの`"stable-diffusion"` パイプラインのクラスである [`StableDiffusionImg2ImgPipeline`] にマップします:
138+
139+
```py
140+
pipeline_img2img = AutoPipelineForImage2Image.from_pipe(pipeline_text2img)
141+
print(type(pipeline_img2img))
142+
"<class 'diffusers.pipelines.stable_diffusion.pipeline_stable_diffusion_img2img.StableDiffusionImg2ImgPipeline'>"
143+
```
144+
元のパイプラインにオプションとして引数（セーフティチェッカーの無効化など）を渡した場合、この引数も新しいパイプラインに渡されます:
145+
146+
```py
147+
from diffusers import AutoPipelineForText2Image, AutoPipelineForImage2Image
148+
import torch
149+
150+
pipeline_text2img = AutoPipelineForText2Image.from_pretrained(
151+
"runwayml/stable-diffusion-v1-5",
152+
torch_dtype=torch.float16,
153+
use_safetensors=True,
154+
requires_safety_checker=False,
155+
).to("cuda")
156+
157+
pipeline_img2img = AutoPipelineForImage2Image.from_pipe(pipeline_text2img)
158+
print(pipeline_img2img.config.requires_safety_checker)
159+
"False"
160+
```
161+
162+
新しいパイプラインの動作を変更したい場合は、元のパイプラインの引数や設定を上書きすることができます。例えば、セーフティチェッカーをオンに戻し、`strength` 引数を追加します:
163+
164+
```py
165+
pipeline_img2img = AutoPipelineForImage2Image.from_pipe(pipeline_text2img, requires_safety_checker=True, strength=0.3)
166+
print(pipeline_img2img.config.requires_safety_checker)
167+
"True"
168+
```

0 commit comments

Comments
 (0)