Generated with sparks and insights from 9 sources

img6

img7

img8

img9

img10

img11

Introduction

  • 目的: DifyとOllamaをWSL2上でセットアップし、ローカル環境で大規模言語モデルを動作させる方法についての包括的な手順を提供します。

  • WSL準備: PCにWSL2が有効化され、Ubuntu 22.04がインストールされていることが前提。

  • Ollamaのインストール: Ollamaをインストールして、Llama3のようなモデルを動かす手順を踏む。

  • Difyの設定: DifyにOllamaで動かすモデルを追加し、RAGアプリを構築。

  • 事前準備: 固定IPと管理者権限のPCが必要。Proxy設定がある場合は環境変数の設定が必要。

  • Dockerセッティング: Docker EngineとDocker Composeをインストールし、コンテナの適切なネットワーク設定を確認。

環境設定 [1]

  • OS: WindowsでWSL2（Ubuntu 22.04）のインストールが必要。

  • システム設定: /etc/wsl.confに[boot] プロパティとしてsystemd=trueを記述。

  • 再起動: 各設定の後、WSL2を再起動することを推奨。

  • 必要条件: PCに固定IPと管理者権限があることが必須。

  • ディストリビューション: Ubuntu以外のWSL2ディストリビューションも使用可能だが、各設定の変化を考慮。

img6

img7

img8

Ollamaのインストール [2]

  • ダウンロード: Ollamaのインストーラを入手。

  • インストール手順: OllamaSetup.exeを起動し、インストールボタンをクリック。

  • モデルダウンロード: phi3を指定してダウンロードし、初回のみ時間がかかる。

  • IPアドレス確認: コマンドプロンプトでIPアドレスを確認し、接続確認。

  • 許可設定: Ollamaのインストール後に、ファイアウォールの許可を行う。

img6

img7

Difyの設定 [2]

  • モデルの追加: ブラウザからDifyにアクセスし、Ollamaをモデルプロバイダーとして追加。

  • Base URL設定: PCのIPアドレスとポートを基にURLを設定。

  • 動作確認: 認識できない場合、DNSエラーチェックを推奨。

  • RAGアプリ作成: Dify内でチャットボットを使用。

  • ログイン: Difyへの管理者権限での定期的なログインを確保。

DockerとProxyの設定

  • Docker インストール: Docker EngineとComposeの導入が必要。

  • グループ設定: dockerグループの作成とユーザー追加。

  • 実行確認: docker run hello-worldで確認。

  • プロキシ設定: 環境変数にHTTP_PROXY、HTTPS_PROXYを設定。

  • IPアドレス: IP確認とrpcポート開放の確保。

img6

img7

img8

トラブルシューティング [2]

  • DNSエラー: host.docker.internalで発生するDNS問題の解決策。

  • 接続エラー: プロキシ設定ミスがあるかチェック。

  • コンテナ内設定確認: /etc/hostsファイルとネットワーク設定。

  • IP利用: host.docker.internalの代わりにIP使用の推奨。

  • 設定変更後の再起動: Dockerやシステム設定変更後は必ず再起動。

Related Videos

<br><br>

<div class="-md-ext-youtube-widget"> { "title": "Dify + Ollama: Setup and Run Open Source LLMs Locally on ...", "link": "https://www.youtube.com/watch?v=ovS83zHyhMs", "channel": { "name": ""}, "published_date": "Oct 13, 2024", "length": "21:46" }</div>