インスピレーションと洞察から生成されました 12 ソースから

img6

img7

img8

img9

img10

img11

はじめに

  • ComfyUIは、実写動画をアニメ風に変換するためのAIツールです。

  • このツールは、Stable Diffusionモデルを活用し、アニメーション生成を行います。

  • ComfyUIのワークフローには、AnimateDiffやControlNetなどの技術が組み込まれています。

  • 3Dモデルを使用することで、安定したアニメーション出力が可能です。

  • プロンプトを用いた制御が必要で、色の一貫性を保つための工夫が求められます。

ComfyUIの概要 [1]

  • ComfyUIは、AIを活用して実写動画をアニメ風に変換するためのツールです。

  • Stable Diffusionモデルを基盤に、アニメーション生成を行います。

  • AnimateDiffやControlNetなどの技術を組み合わせて使用します。

  • プロンプトによる制御が必要で、出力の安定性が課題となることがあります。

  • 3Dモデルを使用することで、より安定した結果を得ることができます。

img6

img7

ワークフローの詳細 [1]

  • ComfyUIのワークフローは、7つのパートに分かれています。

  • 重要なパートは、ControlnetとModel & Loraの使用です。

  • i2i(image-to-image)変換で安定した出力を得ることが重要です。

  • CannyやLineArtを用いることで、アニメーションの一貫性を保ちます。

  • プロンプトはフレーム全体に共通のキーワードを入れることが推奨されます。

img6

img7

必要なツールとモデル [2]

  • ComfyUIを使用するには、いくつかのカスタムノードが必要です。

  • ComfyUI-AnimateDiff-Evolvedは、動画生成を可能にするカスタムノードです。

  • ComfyUI-VideoHelperSuiteは、動画編集を支援するためのノードです。

  • ControlNet AnyTest v4は、video-to-video変換に使用されます。

  • RealVisXL V5.0 Lightningモデルを使用することで、効率的な生成が可能です。

img6

img7

img8

色の一貫性の保ち方 [1]

  • 色の一貫性を保つためには、Denoisingを下げることが有効です。

  • キャラクターLoraを用いることで、色の変化を抑えることができます。

  • アナログ的な処理を行い、色を合わせる方法もあります。

  • PhotoshopやCLIP STUDIOなどのペイントソフトが便利です。

  • 簡単なパレット作成・減色ツールを使用することも推奨されます。

img6

実写動画の準備 [1]

  • 元となる動画は、VRMなどの3Dモデルによる動画が適しています。

  • Vroidは初心者にも使いやすく、直感的な操作が可能です。

  • モデリングソフトを利用して3Dモデルを作成することも推奨されます。

  • BlenderやUnityを使用して動画を作成することができます。

  • 元動画が用意できたら、アニメーション作成の工程に進みます。

img6

img7

関連動画

<br><br>

<div class="-md-ext-youtube-widget"> { "title": "\u3010\u753b\u50cf\u3092\u30a2\u30cb\u30e1\u5316\u3011Stable Diffusion & MeinaMix\u3067\u5b9f\u5199\u98a8\u306e\u753b\u50cf\u3092 ...", "link": "https://www.youtube.com/watch?v=LX7_3vmUImY", "channel": { "name": ""}, "published_date": "Apr 28, 2023", "length": "6:55" }</div>

<div class="-md-ext-youtube-widget"> { "title": "\u30b2\u30fc\u30e0\u30ad\u30e3\u30e9\u3092\u5b9f\u5199\u5316\u3059\u308b\u65b9\u6cd5\uff01Magnific.ai\u304c\u9ad8\u304f\u3066\u624b\u304c\u51fa\u305b ...", "link": "https://www.youtube.com/watch?v=AjH9bR0wfzE", "channel": { "name": ""}, "published_date": "Mar 15, 2024", "length": "6:09" }</div>

<div class="-md-ext-youtube-widget"> { "title": "\u30a2\u30cb\u30e1\u753b\u50cf\u304b\u3089\u30ea\u30a2\u30eb\u306a\u5199\u771f\u306e\u753b\u50cf\u3092\u751f\u6210\u3059\u308b\u65b9\u6cd5\uff01\u30a2\u30cb\u30e1\u306e\u5b9f\u5199 ...", "link": "https://www.youtube.com/watch?v=-gWlQyrmxs0", "channel": { "name": ""}, "published_date": "Apr 12, 2024", "length": "5:23" }</div>