GPUStackとの統合によるローカルモデルのデプロイ

GPUStackは、AIモデルを実行するために設計されたオープンソースのGPUクラスターマネージャーです。

Difyは、大規模言語モデルの推論、埋め込み、再順位付け、音声からテキスト、テキストから音声への機能をローカル環境で展開するために、GPUStackとの統合を実現しています。

GPUStackの展開方法

GPUStackを展開する際は、公式のドキュメントを参照するか、以下の手順に従って簡単に統合できます。

LinuxまたはMacOSでの展開

GPUStackは、systemdやlaunchdベースのシステムにサービスとしてインストールするためのスクリプトを提供しています。この方法でGPUStackをインストールするには、次のコマンドを実行してください：

curl -sfL https://get.gpustack.ai | sh -s -

Windowsでの展開

管理者としてPowerShellを実行し（PowerShell ISEは使用しないでください）、次のコマンドを実行してGPUStackをインストールします：

Invoke-Expression (Invoke-WebRequest -Uri "https://get.gpustack.ai" -UseBasicParsing).Content

その後、表示される指示に従ってGPUStackのUIにアクセスできます。

LLMの展開手順

GPUStackにホストされたLLMを使用する方法の例です：

1. GPUStack UIで「Models」ページに移動し、「Deploy Model」をクリック、次に「Hugging Face」をドロップダウンメニューから選択します。

2. 左上の検索バーを使って、モデル名「Qwen/Qwen2.5-0.5B-Instruct-GGUF」を検索します。

3. モデルを展開するために「Save」をクリックします。

gpustack-deploy-llm

APIキーの作成方法

1. 「API Keys」ページに移動し、「New API Key」をクリックします。

2. 名前を入力し、「Save」をクリックします。

3. APIキーをコピーし、後で使用するために保存しておきます。

DifyとGPUStackの統合手順

1. Settings > Model Providers > GPUStackに移動し、以下の情報を入力します：

   • モデルタイプ：LLM

   • モデル名：qwen2.5-0.5b-instruct

   • サーバーURL：http://your-gpustack-server-ip

   • APIキー：コピーしたAPIキーを入力

   モデルをアプリケーションで使用するために、「Save」をクリックしてください。

add-gpustack-llm

GPUStackに関する詳細情報は、Github Repoを参照してください。