インスピレーションと洞察から生成されました 7 ソースから

img10

img11

img12

img13

img14

img15

はじめに

  • Image2Image技術は、入力画像を基に新しい画像を生成するプロセスです。

  • 拡散モデル(ディフュージョンモデル)が主に使用され、ノイズを除去して画像を生成します。

  • CLIP技術は、テキストと画像の類似度を計算し、画像生成に役立ちます。

  • Stable Diffusionは、CLIPと拡散モデルを組み合わせた技術です。

  • この技術は、テキストエンコーダーを使用してプロンプトをベクトルに変換し、画像生成に利用します。

拡散モデル [1]

  • 拡散モデルは、ノイズを付加した画像から元の画像を復元する技術です。

  • 2020年に提案され、現在の画像生成モデルで広く使用されています。

  • ノイズ除去にはU-netというモデルが使われています。

  • 前向き過程でノイズを加え、逆向き過程でノイズを除去します。

  • ノイズ除去のプロセスを学習し、画像を生成します。

img10

img11

CLIP技術 [1]

  • CLIPは、OpenAIによって2021年に公開された技術です。

  • 画像とテキストの類似度を計算するマルチモーダルなモデルです。

  • 約4億組の画像とテキストのペアを使用して学習されています。

  • テキストエンコーダーとして、Stable Diffusionで使用されています。

  • ゼロショット学習が可能で、未知のデータセットにも対応できます。

img10

img11

img12

[Stable Diffusion](/spark?generatorapi=generate_by_article_name&generatorapi_param=query=Stable+Diffusion%E3%81%AE%E4%BB%95%E7%B5%84%E3%81%BF) [1]

  • Stable Diffusionは、CLIPと拡散モデルを組み合わせた技術です。

  • テキストエンコーダーを使用してプロンプトをベクトルに変換します。

  • ランダムなノイズから画像を生成し、ノイズ除去を行います。

  • 同じプロンプトでも異なる画像が生成されることがあります。

  • seed値を指定することで、乱数を固定し、同じ画像を生成できます。

img10

img11

img12

学習フェーズ [1]

  • 元の画像にノイズを加える前向き過程を行います。

  • ノイズ除去のためのニューラルネットワークを学習します。

  • U-netを使用してノイズを除去します。

  • ノイズを乗せた画像から元の画像を復元する問題を解きます。

  • 膨大なデータで学習を行い、特徴を抽出します。

利用フェーズ

  • ランダムなノイズから画像生成を開始します。

  • テキストエンコーダーからのデータを基にノイズを除去します。

  • 学習フェーズで得た知識を活用して画像を生成します。

  • プロンプトに基づいて所望の画像を生成します。

  • seed値を指定することで、同じ画像を再現可能です。

関連動画

<br><br>

<div class="-md-ext-youtube-widget"> { "title": "\u30102023/02/09\u3011\u3010\u8ad6\u6587\u89e3\u8aac\u3011Stable Diffusion \u753b\u50cf\u751f\u6210\u306e\u3057\u304f\u307f\u3092 ...", "link": "https://www.youtube.com/watch?v=PFPIZZQVjOM", "channel": { "name": ""}, "published_date": "Feb 10, 2023", "length": "57:53" }</div>

<div class="-md-ext-youtube-widget"> { "title": "\u3010AI\u8ad6\u6587\u89e3\u8aac\u3011Imagen\uff1aGLIDE\u30fbDALL-E 2\u3092\u8d85\u3048\u305f\uff01 \u6587\u7ae0\u306b\u6cbf\u3063 ...", "link": "https://www.youtube.com/watch?v=N6lJvkoku9s", "channel": { "name": ""}, "published_date": "Jun 3, 2022", "length": "39:09" }</div>

<div class="-md-ext-youtube-widget"> { "title": "\u3010AI\u8ad6\u6587\u89e3\u8aac\u3011\u753b\u50cf\u7de8\u96c6\u304c\u3057\u305f\u3044\u2026\u305d\u308c\u3001\u4e8b\u524d\u5b66\u7fd2\u6e08\u307f\u78ba\u7387\u62e1\u6563 ...", "link": "https://www.youtube.com/watch?v=VtONCSnXsi4", "channel": { "name": ""}, "published_date": "Jun 3, 2022", "length": "13:05" }</div>