LangSmithを統合

1 LangSmithとは

LangSmithはLLMアプリケーションの開発、コラボレーション、テスト、デプロイ、監視などのツールを提供するプラットフォームです。

LangSmithの公式サイト：https://www.langchain.com/langsmith

---

2 LangSmithの使い方

1. LangSmithの公式サイトから登録し、ログインする。

2. LangSmithからプロジェクトを作成します

ログイン後、ホームページの New Project をクリックし、新たなプロジェクトを作成します。このプロジェクトは、Dify内のアプリと連動したデータモニタリングに使用されます。

新たなプロジェクトを作成します。

作成する後、プロジェクトの中にチェクできます。

LangSmithの中にプロジェクトをチェクします。

3. プロジェクト認証情報の作成

左のサイドバーでプロジェクト 設定 を見つける。

プロジェクトを設定し

Create API Keyをクリックし，新たな認証情報を作ります。

プロジェクトのAPI Keyを作ります。

Personal Access Token を選び，のちほとのAPI身分証明の時使えます。

Personal Access Tokenを選択します

新たなAPI keyをコピーし、保存します。

新たなAPI keyをコピーします

4. Dify アプリの中に LangSmith を設定します

監視用のアプリのサイトメニューの監視ボタンをクリックし，設定をクリックします。

LangSmithを設定します

それから，LangSmith から作った API Key とプロジェクト名を設定の中に貼り付け、保存します。

LangSmithを設定します。

設定したプロジェクト名は LangSmith のいるプロジェクト名と必ず一致します。一致しない場合、データの同期時に LangSmith は自動的に新しいプロジェクトを作成します。

保存に成功すると、現在のページで監視状態を見ることができます。

監視状態を見る

LangSmithでのモニタリングデータの表示

Dify内のアプリケーションからデバッグや製品データを設定することで、LangSmithにてそのデータをモニタリングすることができます。

Difyにおけるアプリケーションのデバッグ

LangSmithに切り替えると、ダッシュボード上でDifyアプリケーションの詳細な操作ログを見ることができます。

LangSmithでのアプリケーションデータの表示

LangSmithを通じて得られる詳細な大規模言語モデル（LLM）の操作ログは、Difyアプリケーションのパフォーマンスを最適化するために役立ちます。

LangSmithでのアプリケーションデータの表示

モニタリングデータリスト

ワークフロー/チャットフローのトレース情報

ワークフローやチャットフローを追跡するために使用されます。

ワークフロー	LangSmith Chain
workflow_app_log_id/workflow_run_id	ID
user_session_id	- メタデータに配置
workflow_{id}	名前
start_time	開始時間
end_time	終了時間
inputs	入力
outputs	出力
モデルトークン消費	使用メタデータ
metadata	追加情報
エラー	エラー
[workflow]	タグ
"conversation_id/none for workflow"	メタデータ内のconversation_id
conversion_id	親実行ID

ワークフロートレース情報

• workflow_id：ワークフローの固有識別子

• conversation_id：会話ID

• workflow_run_id：現在の実行ID

• tenant_id：テナントID

• elapsed_time：現在の実行にかかった時間

• status：実行ステータス

• version：ワークフローのバージョン

• total_tokens：現在の実行で使用されるトークンの合計数

• file_list：処理されたファイルのリスト

• triggered_from：現在の実行を引き起こしたソース

• workflow_run_inputs：現在の実行の入力データ

• workflow_run_outputs：現在の実行の出力データ

• error：現在の実行中に発生したエラー

• query：実行中に使用されたクエリ

• workflow_app_log_id：ワークフローアプリケーションログID

• message_id：関連メッセージID

• start_time：実行の開始時間

• end_time：実行の終了時間

• workflow node executions：ワークフローノード実行に関する情報

• メタデータ

  • workflow_id：ワークフローの固有識別子

  • conversation_id：会話ID

  • workflow_run_id：現在の実行ID

  • tenant_id：テナントID

  • elapsed_time：現在の実行にかかった時間

  • status：実行ステータス

  • version：ワークフローのバージョン

  • total_tokens：現在の実行で使用されるトークンの合計数

  • file_list：処理されたファイルのリスト

  • triggered_from：現在の実行を引き起こしたソース

メッセージトレース情報

大規模言語モデル（LLM）関連の会話を追跡するために使用されます。

チャット	LangSmith LLM
message_id	ID
user_session_id	- メタデータに配置
“message_{id}"	名前
start_time	開始時間
end_time	終了時間
inputs	入力
outputs	出力
モデルトークン消費	使用メタデータ
metadata	追加情報
エラー	エラー
["message", conversation_mode]	タグ
conversation_id	メタデータ内のconversation_id
conversion_id	親実行ID

メッセージトレース情報

• message_id：メッセージID

• message_data：メッセージデータ

• user_session_id：ユーザーセッションID

• conversation_model：会話モード

• message_tokens：メッセージ中のトークン数

• answer_tokens：回答のトークン数

• total_tokens：メッセージと回答の合計トークン数

• error：エラー情報

• inputs：入力データ

• outputs：出力データ

• file_list：処理されたファイルのリスト

• start_time：開始時間

• end_time：終了時間

• message_file_data：メッセージに関連付けられたファイルデータ

• conversation_mode：会話モード

• メタデータ

  • conversation_id：会話ID

  • ls_provider：モデルプロバイダ

  • ls_model_name：モデルID

  • status：メッセージステータス

  • from_end_user_id：送信ユーザーのID

  • from_account_id：送信アカウントのID

  • agent_based：メッセージがエージェントベースかどうか

  • workflow_run_id：ワークフロー実行ID

  • from_source：メッセージのソース

モデレーショントレース情報

会話のモデレーションを追跡するために使用されます。

モデレーション	LangSmith Tool
user_id	- メタデータに配置
“moderation"	名前
start_time	開始時間
end_time	終了時間
inputs	入力
outputs	出力
metadata	追加情報
[moderation]	タグ
message_id	親実行ID

モデレーショントレース情報

• message_id：メッセージID

• user_id：ユーザーID

• workflow_app_log_id：ワークフローアプリケーションログID

• inputs：モデレーションの入力データ

• message_data：メッセージデータ

• flagged：コンテンツに注意が必要かどうか

• action：実行された具体的なアクション

• preset_response：プリセット応答

• start_time：モデレーション開始時間

• end_time：モデレーション終了時間

• メタデータ

  • message_id：メッセージID

  • action：実行された具体的なアクション

  • preset_response：プリセット応答

提案された質問トレース情報

提案された質問を追跡するために使用されます。