mirror of
https://github.com/langgenius/dify-docs.git
synced 2026-03-27 13:28:32 +07:00
512 lines
13 KiB
Plaintext
512 lines
13 KiB
Plaintext
---
|
||
title: Arizeの統合
|
||
---
|
||
|
||
|
||
### 1 Arizeとは
|
||
|
||
エンタープライズグレードのLLM可観測性、オンラインおよびオフライン評価、モニタリング、実験—OpenTelemetryによって支えられています。LLMおよびエージェント駆動型アプリケーション向けに特別に設計されています。
|
||
|
||
<Info>
|
||
Arizeの公式サイト:[https://arize.com](https://arize.com)
|
||
</Info>
|
||
|
||
***
|
||
|
||
### 2 Arizeの使い方
|
||
|
||
#### 1. Arizeの[公式サイト](https://app.arize.com/auth/join)から登録し、ログインする。
|
||
|
||
### 2. Arize APIキーの取得
|
||
|
||
右上のユーザーメニューから**API Key**を選択し、APIキーを取得・コピーしてください。
|
||
|
||

|
||
|
||
### 3. ArizeとDifyを統合
|
||
|
||
DifyアプリケーションでArizeを設定します。監視するアプリケーションを開き、サイドメニューで**監視**を選択し、ページ上の**アプリケーションパフォーマンスを追跡**をクリックします。
|
||
|
||

|
||
|
||
設定後、Arizeで作成した**API Key**, **Space ID**と**プロジェクト名**を設定ページに貼り付けて保存します。
|
||
|
||

|
||
|
||
保存に成功すると、現在のページで監視ステータスを確認できます。
|
||
|
||

|
||
|
||
## モニタリングデータリスト
|
||
|
||
### **ワークフロー/会話フロートラッキング情報**
|
||
|
||
**ワークフローと会話フローの追跡に使用**
|
||
|
||
<table>
|
||
<thead>
|
||
<tr>
|
||
<th>ワークフロー</th>
|
||
<th>Arizeトラッキング</th>
|
||
</tr>
|
||
</thead>
|
||
<tbody>
|
||
<tr>
|
||
<td>workflow_app_log_id/workflow_run_id</td>
|
||
<td>id</td>
|
||
</tr>
|
||
<tr>
|
||
<td>user_session_id</td>
|
||
<td>- メタデータに配置</td>
|
||
</tr>
|
||
<tr>
|
||
<td>{"workflow_{id}"}</td>
|
||
<td>name</td>
|
||
</tr>
|
||
<tr>
|
||
<td>start_time</td>
|
||
<td>start_time</td>
|
||
</tr>
|
||
<tr>
|
||
<td>end_time</td>
|
||
<td>end_time</td>
|
||
</tr>
|
||
<tr>
|
||
<td>inputs</td>
|
||
<td>inputs</td>
|
||
</tr>
|
||
<tr>
|
||
<td>outputs</td>
|
||
<td>outputs</td>
|
||
</tr>
|
||
<tr>
|
||
<td>モデルトークン消費</td>
|
||
<td>usage_metadata</td>
|
||
</tr>
|
||
<tr>
|
||
<td>metadata</td>
|
||
<td>metadata</td>
|
||
</tr>
|
||
<tr>
|
||
<td>error</td>
|
||
<td>error</td>
|
||
</tr>
|
||
<tr>
|
||
<td>\[workflow]</td>
|
||
<td>tags</td>
|
||
</tr>
|
||
<tr>
|
||
<td>"conversation_id/none for workflow"</td>
|
||
<td>conversation_id in metadata</td>
|
||
</tr>
|
||
</tbody>
|
||
</table>
|
||
**ワークフロートラッキング情報**
|
||
|
||
- workflow_id - ワークフローの一意識別子
|
||
- conversation_id - 会話ID
|
||
- workflow_run_id - 現在の実行ID
|
||
- tenant_id - テナントID
|
||
- elapsed_time - 現在の実行にかかった時間
|
||
- status - 実行ステータス
|
||
- version - ワークフローバージョン
|
||
- total_tokens - 現在の実行で使用されたトークン総数
|
||
- file_list - 処理されたファイルのリスト
|
||
- triggered_from - 実行をトリガーしたソース
|
||
- workflow_run_inputs - 現在の実行の入力データ
|
||
- workflow_run_outputs - 現在の実行の出力データ
|
||
- error - 実行中に発生したエラー
|
||
- query - 実行中に使用されたクエリ
|
||
- workflow_app_log_id - ワークフローアプリケーションログID
|
||
- message_id - 関連するメッセージID
|
||
- start_time - 実行開始時間
|
||
- end_time - 実行終了時間
|
||
- workflow node executions - ワークフローノードの実行情報
|
||
- メタデータ
|
||
- workflow_id - ワークフローの一意識別子
|
||
- conversation_id - 会話ID
|
||
- workflow_run_id - 現在の実行ID
|
||
- tenant_id - テナントID
|
||
- elapsed_time - 現在の実行にかかった時間
|
||
- status - 実行ステータス
|
||
- version - ワークフローバージョン
|
||
- total_tokens - 現在の実行で使用されたトークン総数
|
||
- file_list - 処理されたファイルのリスト
|
||
- triggered_from - 実行をトリガーしたソース
|
||
|
||
---
|
||
|
||
### **メッセージトラッキング情報**
|
||
|
||
**LLM関連の会話を追跡するために使用**
|
||
|
||
<table>
|
||
<thead>
|
||
<tr>
|
||
<th>チャット</th>
|
||
<th>Arize LLM</th>
|
||
</tr>
|
||
</thead>
|
||
<tbody>
|
||
<tr>
|
||
<td>message_id</td>
|
||
<td>id</td>
|
||
</tr>
|
||
<tr>
|
||
<td>user_session_id</td>
|
||
<td>- メタデータに配置</td>
|
||
</tr>
|
||
<tr>
|
||
<td>"llm"</td>
|
||
<td>name</td>
|
||
</tr>
|
||
<tr>
|
||
<td>start_time</td>
|
||
<td>start_time</td>
|
||
</tr>
|
||
<tr>
|
||
<td>end_time</td>
|
||
<td>end_time</td>
|
||
</tr>
|
||
<tr>
|
||
<td>inputs</td>
|
||
<td>inputs</td>
|
||
</tr>
|
||
<tr>
|
||
<td>outputs</td>
|
||
<td>outputs</td>
|
||
</tr>
|
||
<tr>
|
||
<td>モデルトークン消費</td>
|
||
<td>usage_metadata</td>
|
||
</tr>
|
||
<tr>
|
||
<td>metadata</td>
|
||
<td>metadata</td>
|
||
</tr>
|
||
<tr>
|
||
<td>\["message", conversation_mode]</td>
|
||
<td>tags</td>
|
||
</tr>
|
||
<tr>
|
||
<td>conversation_id</td>
|
||
<td>conversation_id in metadata</td>
|
||
</tr>
|
||
</tbody>
|
||
</table>
|
||
**メッセージトラッキング情報**
|
||
|
||
- message_id - メッセージID
|
||
- message_data - メッセージデータ
|
||
- user_session_id - ユーザーセッションID
|
||
- conversation_model - 会話モード
|
||
- message_tokens - メッセージ内のトークン数
|
||
- answer_tokens - 回答内のトークン数
|
||
- total_tokens - メッセージと回答のトークン総数
|
||
- error - エラー情報
|
||
- inputs - 入力データ
|
||
- outputs - 出力データ
|
||
- file_list - 処理されたファイルリスト
|
||
- start_time - 開始時間
|
||
- end_time - 終了時間
|
||
- message_file_data - メッセージ関連のファイルデータ
|
||
- conversation_mode - 会話モード
|
||
- メタデータ
|
||
- conversation_id - 会話ID
|
||
- ls_provider - モデルプロバイダー
|
||
- ls_model_name - モデルID
|
||
- status - メッセージステータス
|
||
- from_end_user_id - 送信ユーザーID
|
||
- from_account_id - 送信アカウントID
|
||
- agent_based - エージェントベースかどうか
|
||
- workflow_run_id - ワークフロー実行ID
|
||
- from_source - メッセージソース
|
||
|
||
### **レビュー追跡情報**
|
||
|
||
**会話のレビューを追跡するために使用**
|
||
|
||
<table>
|
||
<thead>
|
||
<tr>
|
||
<th>レビュー</th>
|
||
<th>Arize Tool</th>
|
||
</tr>
|
||
</thead>
|
||
<tbody>
|
||
<tr>
|
||
<td>user_id</td>
|
||
<td>- メタデータに配置</td>
|
||
</tr>
|
||
<tr>
|
||
<td>"moderation"</td>
|
||
<td>name</td>
|
||
</tr>
|
||
<tr>
|
||
<td>start_time</td>
|
||
<td>start_time</td>
|
||
</tr>
|
||
<tr>
|
||
<td>end_time</td>
|
||
<td>end_time</td>
|
||
</tr>
|
||
<tr>
|
||
<td>inputs</td>
|
||
<td>inputs</td>
|
||
</tr>
|
||
<tr>
|
||
<td>outputs</td>
|
||
<td>outputs</td>
|
||
</tr>
|
||
<tr>
|
||
<td>metadata</td>
|
||
<td>metadata</td>
|
||
</tr>
|
||
<tr>
|
||
<td>\["moderation"]</td>
|
||
<td>tags</td>
|
||
</tr>
|
||
</tbody>
|
||
</table>
|
||
**レビュー追跡情報**
|
||
|
||
- message_id - メッセージID
|
||
- user_id - ユーザーID
|
||
- workflow_app_log_id - ワークフローアプリケーションログID
|
||
- inputs - レビュー入力データ
|
||
- message_data - メッセージデータ
|
||
- flagged - 注意が必要とマークされたかどうか
|
||
- action - 実施された具体的なアクション
|
||
- preset_response - プリセットレスポンス
|
||
- start_time - レビュー開始時間
|
||
- end_time - レビュー終了時間
|
||
- メタデータ
|
||
- message_id - メッセージID
|
||
- action - 実施されたアクション
|
||
- preset_response - プリセットレスポンス
|
||
|
||
---
|
||
|
||
### **提案質問追跡情報**
|
||
|
||
**提案質問を追跡するために使用**
|
||
|
||
<table>
|
||
<thead>
|
||
<tr>
|
||
<th>提案質問</th>
|
||
<th>Arize LLM</th>
|
||
</tr>
|
||
</thead>
|
||
<tbody>
|
||
<tr>
|
||
<td>user_id</td>
|
||
<td>- メタデータに配置</td>
|
||
</tr>
|
||
<tr>
|
||
<td>"suggested_question"</td>
|
||
<td>name</td>
|
||
</tr>
|
||
<tr>
|
||
<td>start_time</td>
|
||
<td>start_time</td>
|
||
</tr>
|
||
<tr>
|
||
<td>end_time</td>
|
||
<td>end_time</td>
|
||
</tr>
|
||
<tr>
|
||
<td>inputs</td>
|
||
<td>inputs</td>
|
||
</tr>
|
||
<tr>
|
||
<td>outputs</td>
|
||
<td>outputs</td>
|
||
</tr>
|
||
<tr>
|
||
<td>metadata</td>
|
||
<td>metadata</td>
|
||
</tr>
|
||
<tr>
|
||
<td>\["suggested_question"]</td>
|
||
<td>tags</td>
|
||
</tr>
|
||
</tbody>
|
||
</table>
|
||
**提案質問追跡情報**
|
||
|
||
- message_id - メッセージID
|
||
- message_data - メッセージデータ
|
||
- inputs - 入力データ
|
||
- outputs - 出力データ
|
||
- start_time - 開始時間
|
||
- end_time - 終了時間
|
||
- total_tokens - トークン総数
|
||
- status - メッセージステータス
|
||
- error - エラー情報
|
||
- from_account_id - 送信アカウントID
|
||
- agent_based - エージェントベースかどうか
|
||
- from_source - メッセージの送信元
|
||
- model_provider - モデルプロバイダー
|
||
- model_id - モデルID
|
||
- suggested_question - 提案された質問
|
||
- level - ステータスレベル
|
||
- status_message - ステータスメッセージ
|
||
- メタデータ
|
||
- message_id - メッセージID
|
||
- ls_provider - モデルプロバイダー
|
||
- ls_model_name - モデルID
|
||
- status - メッセージステータス
|
||
- from_end_user_id - 送信ユーザーID
|
||
- from_account_id - 送信アカウントID
|
||
- workflow_run_id - ワークフロー実行ID
|
||
- from_source - メッセージの送信元
|
||
|
||
---
|
||
|
||
### **データセット検索追跡情報**
|
||
|
||
**ナレッジベース検索を追跡するために使用**
|
||
|
||
<table>
|
||
<thead>
|
||
<tr>
|
||
<th>データセット検索</th>
|
||
<th>Arize Retriever</th>
|
||
</tr>
|
||
</thead>
|
||
<tbody>
|
||
<tr>
|
||
<td>user_id</td>
|
||
<td>- メタデータに配置</td>
|
||
</tr>
|
||
<tr>
|
||
<td>"dataset_retrieval"</td>
|
||
<td>name</td>
|
||
</tr>
|
||
<tr>
|
||
<td>start_time</td>
|
||
<td>start_time</td>
|
||
</tr>
|
||
<tr>
|
||
<td>end_time</td>
|
||
<td>end_time</td>
|
||
</tr>
|
||
<tr>
|
||
<td>inputs</td>
|
||
<td>inputs</td>
|
||
</tr>
|
||
<tr>
|
||
<td>outputs</td>
|
||
<td>outputs</td>
|
||
</tr>
|
||
<tr>
|
||
<td>metadata</td>
|
||
<td>metadata</td>
|
||
</tr>
|
||
<tr>
|
||
<td>\["dataset_retrieval"]</td>
|
||
<td>tags</td>
|
||
</tr>
|
||
<tr>
|
||
<td>message_id</td>
|
||
<td>parent_run_id</td>
|
||
</tr>
|
||
</tbody>
|
||
</table>
|
||
**データセット検索追跡情報**
|
||
|
||
- message_id - メッセージID
|
||
- inputs - 入力データ
|
||
- documents - ドキュメントデータ
|
||
- start_time - 開始時間
|
||
- end_time - 終了時間
|
||
- message_data - メッセージデータ
|
||
- メタデータ
|
||
- message_id - メッセージID
|
||
- ls_provider - モデルプロバイダー
|
||
- ls_model_name - モデルID
|
||
- status - メッセージステータス
|
||
- from_end_user_id - 送信ユーザーID
|
||
- from_account_id - 送信アカウントID
|
||
- agent_based - エージェントベースかどうか
|
||
- workflow_run_id - ワークフロー実行ID
|
||
- from_source - メッセージの送信元
|
||
|
||
---
|
||
|
||
### **ツール追跡情報**
|
||
|
||
**ツールの呼び出しを追跡するために使用**
|
||
|
||
<table>
|
||
<thead>
|
||
<tr>
|
||
<th>ツール</th>
|
||
<th>Arize Tool</th>
|
||
</tr>
|
||
</thead>
|
||
<tbody>
|
||
<tr>
|
||
<td>user_id</td>
|
||
<td>- メタデータに配置</td>
|
||
</tr>
|
||
<tr>
|
||
<td>tool_name</td>
|
||
<td>name</td>
|
||
</tr>
|
||
<tr>
|
||
<td>start_time</td>
|
||
<td>start_time</td>
|
||
</tr>
|
||
<tr>
|
||
<td>end_time</td>
|
||
<td>end_time</td>
|
||
</tr>
|
||
<tr>
|
||
<td>inputs</td>
|
||
<td>inputs</td>
|
||
</tr>
|
||
<tr>
|
||
<td>outputs</td>
|
||
<td>outputs</td>
|
||
</tr>
|
||
<tr>
|
||
<td>metadata</td>
|
||
<td>metadata</td>
|
||
</tr>
|
||
<tr>
|
||
<td>\["tool", tool_name]</td>
|
||
<td>tags</td>
|
||
</tr>
|
||
</tbody>
|
||
</table>
|
||
**ツール追跡情報**
|
||
|
||
- message_id - メッセージID
|
||
- tool_name - ツール名
|
||
- start_time - 開始時間
|
||
- end_time - 終了時間
|
||
- tool_inputs - ツール入力
|
||
- tool_outputs - ツール出力
|
||
- message_data - メッセージデータ
|
||
- error - エラー情報(該当する場合)
|
||
- inputs - メッセージの入力
|
||
- outputs - メッセージの出力
|
||
- tool_config - ツール設定
|
||
- time_cost - 時間コスト
|
||
- tool_parameters - ツールパラメーター
|
||
- file_url - 関連するファイルのURL
|
||
- メタデータ
|
||
- message_id - メッセージID
|
||
- tool_name - ツール名
|
||
- tool_inputs - ツール入力
|
||
- tool_outputs - ツール出力
|
||
- tool_config - ツール設定
|
||
- time_cost - 時間コスト
|
||
- error - エラー情報(該当する場合)
|
||
- tool_parameters - ツールパラメーター
|
||
- message_file_id - メッセージファイルID
|
||
- created_by_role - 作成者の役割
|
||
- created_user_id - 作成者ユーザーID
|