インスピレーションと洞察から生成されました 7 ソースから
はじめに
-
Image2Image技術は、入力画像を基に新しい画像を生成するプロセスです。
-
拡散モデル(ディフュージョンモデル)が主に使用され、ノイズを除去して画像を生成します。
-
CLIP技術は、テキストと画像の類似度を計算し、画像生成に役立ちます。
-
Stable Diffusionは、CLIPと拡散モデルを組み合わせた技術です。
-
この技術は、テキストエンコーダーを使用してプロンプトをベクトルに変換し、画像生成に利用します。
拡散モデル [1]
-
拡散モデルは、ノイズを付加した画像から元の画像を復元する技術です。
-
2020年に提案され、現在の画像生成モデルで広く使用されています。
-
ノイズ除去にはU-netというモデルが使われています。
-
前向き過程でノイズを加え、逆向き過程でノイズを除去します。
-
ノイズ除去のプロセスを学習し、画像を生成します。
CLIP技術 [1]
-
CLIPは、OpenAIによって2021年に公開された技術です。
-
画像とテキストの類似度を計算するマルチモーダルなモデルです。
-
約4億組の画像とテキストのペアを使用して学習されています。
-
テキストエンコーダーとして、Stable Diffusionで使用されています。
-
ゼロショット学習が可能で、未知のデータセットにも対応できます。
[Stable Diffusion](/spark?generatorapi=generate_by_article_name&generatorapi_param=query=Stable+Diffusion%E3%81%AE%E4%BB%95%E7%B5%84%E3%81%BF) [1]
-
Stable Diffusionは、CLIPと拡散モデルを組み合わせた技術です。
-
テキストエンコーダーを使用してプロンプトをベクトルに変換します。
-
ランダムなノイズから画像を生成し、ノイズ除去を行います。
-
同じプロンプトでも異なる画像が生成されることがあります。
-
seed値を指定することで、乱数を固定し、同じ画像を生成できます。
学習フェーズ [1]
-
元の画像にノイズを加える前向き過程を行います。
-
ノイズ除去のためのニューラルネットワークを学習します。
-
U-netを使用してノイズを除去します。
-
ノイズを乗せた画像から元の画像を復元する問題を解きます。
-
膨大なデータで学習を行い、特徴を抽出します。
利用フェーズ
-
ランダムなノイズから画像生成を開始します。
-
テキストエンコーダーからのデータを基にノイズを除去します。
-
学習フェーズで得た知識を活用して画像を生成します。
-
プロンプトに基づいて所望の画像を生成します。
-
seed値を指定することで、同じ画像を再現可能です。
関連動画
<br><br>
<div class="-md-ext-youtube-widget"> { "title": "\u30102023/02/09\u3011\u3010\u8ad6\u6587\u89e3\u8aac\u3011Stable Diffusion \u753b\u50cf\u751f\u6210\u306e\u3057\u304f\u307f\u3092 ...", "link": "https://www.youtube.com/watch?v=PFPIZZQVjOM", "channel": { "name": ""}, "published_date": "Feb 10, 2023", "length": "57:53" }</div>
<div class="-md-ext-youtube-widget"> { "title": "\u3010AI\u8ad6\u6587\u89e3\u8aac\u3011Imagen\uff1aGLIDE\u30fbDALL-E 2\u3092\u8d85\u3048\u305f\uff01 \u6587\u7ae0\u306b\u6cbf\u3063 ...", "link": "https://www.youtube.com/watch?v=N6lJvkoku9s", "channel": { "name": ""}, "published_date": "Jun 3, 2022", "length": "39:09" }</div>
<div class="-md-ext-youtube-widget"> { "title": "\u3010AI\u8ad6\u6587\u89e3\u8aac\u3011\u753b\u50cf\u7de8\u96c6\u304c\u3057\u305f\u3044\u2026\u305d\u308c\u3001\u4e8b\u524d\u5b66\u7fd2\u6e08\u307f\u78ba\u7387\u62e1\u6563 ...", "link": "https://www.youtube.com/watch?v=VtONCSnXsi4", "channel": { "name": ""}, "published_date": "Jun 3, 2022", "length": "13:05" }</div>