mirror of
https://github.com/langgenius/dify-docs.git
synced 2026-03-27 13:28:32 +07:00
688fd5756f
* 🌐 Initial translations for PR #636 Auto-generated translations for documentation changes in PR #636. Last-Processed-Commit:3f204fbd9dOriginal-PR: #636 Languages: Chinese (zh), Japanese (ja) 🤖 Generated with GitHub Actions * 🔄 Update translations for commit623b346aAuto-generated translations for changes in commit623b346a77. Last-Processed-Commit:623b346a77Original-PR: #636 Languages: Chinese (zh), Japanese (ja) 🤖 Generated with GitHub Actions * Fix pricing link for batch upload information Updated the link for the paid plan pricing page. * Update maintain-knowledge-documents.mdx * Update link text for knowledge base creation * Update pricing link in readme for batch upload * Update setting-indexing-methods.mdx * Update knowledge-retrieval.mdx --------- Co-authored-by: github-actions[bot] <github-actions[bot]@users.noreply.github.com> Co-authored-by: Riskey <36894937+RiskeyL@users.noreply.github.com>
194 lines
16 KiB
Plaintext
194 lines
16 KiB
Plaintext
---
|
||
title: インデックス方法と検索設定を指定
|
||
---
|
||
|
||
<Note> ⚠️ このドキュメントはAIによって自動翻訳されています。不正確な部分がある場合は、[英語版](/en/use-dify/knowledge/create-knowledge/setting-indexing-methods)を参照してください。</Note>
|
||
|
||
チャンキングモードを選択した後、次のステップは構造化されたコンテンツのインデックス方法を定義することです。
|
||
|
||
## インデックス方法の選択
|
||
|
||
検索エンジンが効率的なインデックスアルゴリズムを使用してユーザーのクエリに最も関連する検索結果をマッチングするのと同様に、選択したインデックス方法はLLMの検索効率とナレッジベースコンテンツに対する回答の正確性に直接影響します。
|
||
|
||
ナレッジベースでは、**高品質**と**エコノミー**の2種類のインデックス方法を提供しており、それぞれ異なる検索設定オプションがあります。
|
||
|
||
<Tabs>
|
||
<Tab title="高品質">
|
||
|
||
<Note>
|
||
高品質インデックス方法で作成されたナレッジベースは、後からエコノミーに切り替えることはできません。
|
||
</Note>
|
||
|
||
高品質インデックス方法では、埋め込みモデルを使用してコンテンツチャンクをベクトル表現に変換します。この処理を埋め込み（embedding）と呼びます。
|
||
|
||
これらのベクトルは多次元空間上の座標のようなものです。2つの点の距離が近いほど、それらの意味が近いことを示しています。このしくみにより、システムは単なるキーワード一致ではなく、意味的な類似性に基づいて関連情報を検索できます。
|
||
|
||
<Tip>
|
||
クロスモーダル検索（テキストと画像を意味的関連性に基づいて取得）を有効にするには、マルチモーダル埋め込みモデル（**Vision**アイコン付き）を選択してください。ドキュメントから抽出された画像もベクトル化され、検索用にインデックス化されます。
|
||
|
||
このような埋め込みモデルを使用するナレッジベースは、カード上で**Multimodal**とラベル付けされます。
|
||
|
||
<img src="/images/multimodal_knowledge_base.png" alt="Multimodal Knowledge Base" width="300" />
|
||
</Tip>
|
||
|
||
高品質インデックス方法では、ベクトル検索、全文検索、ハイブリッド検索の3つの検索戦略がサポートされています。詳細は[検索設定の指定](#検索設定の指定)をご覧ください。
|
||
|
||
### Q&Aモード
|
||
|
||
<Info>
|
||
Q&Aモードはセルフホスト環境でのみ利用可能です。
|
||
</Info>
|
||
|
||
このモードを有効にすると、システムはアップロードされたテキストを分割し、各分割のコンテンツを要約して自動的にQ&Aペアを生成します。
|
||
|
||
一般的な**Q to P**戦略（ユーザーの質問がテキスト段落にマッチング）とは異なり、Q&Aモードでは**Q to Q**戦略（質問が質問にマッチング）を採用しています。
|
||
|
||
このアプローチは、FAQ文書内のテキストが**通常、完全な文法構造を持つ自然言語で書かれている**ため、特に効果的です。
|
||
|
||
> **Q to Q**戦略により、質問と回答のマッチングがより明確になり、高頻度または類似度の高い質問のシナリオにも適切に対応できます。
|
||
|
||
|
||
|
||
ユーザーが質問すると、システムは最も類似した質問を特定し、対応するチャンクを回答として返します。この方法はより精密で、ユーザーのクエリに直接マッチングするため、ユーザーが必要とする正確な情報を検索できます。
|
||
|
||
|
||
|
||
</Tab>
|
||
|
||
<Tab title="エコノミー">
|
||
|
||
各チャンクで10個のキーワードを使用して検索し、検索精度は下がりますがトークンを消費しません。検索されたブロックに対しては、逆引きインデックス方式のみで最も関連性の高いブロックを選択します。
|
||
|
||
エコノミーインデックス方法のパフォーマンスが期待に沿わない場合は、ナレッジ設定ページで高品質インデックス方法にアップグレードできます。
|
||
|
||
|
||
|
||
</Tab>
|
||
|
||
</Tabs>
|
||
|
||
## 検索設定の指定
|
||
|
||
ナレッジベースはユーザーのクエリを受け取った後、事前設定された検索方法に従って既存のドキュメントを検索し、高度に関連するコンテンツチャンクを抽出します。これらのチャンクはLLMに不可欠なコンテキストを提供し、最終的に回答の正確性と信頼性に影響を与えます。
|
||
|
||
一般的な検索方法には以下があります：
|
||
|
||
1. ベクトル類似度に基づく意味検索 - テキストチャンクとクエリをベクトルに変換し、類似度スコアリングでマッチングします。
|
||
2. 逆引きインデックス（標準的な検索エンジン技術）を使用したキーワードマッチング。両方の方法がDifyのナレッジベースでサポートされています。
|
||
|
||
両方の検索方法がDifyのナレッジベースでサポートされています。利用可能な具体的な検索オプションは、選択したインデックス方法によって異なります。
|
||
|
||
<Tabs>
|
||
<Tab title="高品質">
|
||
**高品質**
|
||
|
||
**高品質**インデックス方法では、Difyは**ベクトル検索、全文検索、ハイブリッド検索**の3つの検索設定を提供しています。
|
||
|
||
|
||
|
||
**ベクトル検索**
|
||
|
||
**定義**: ユーザーの質問をベクトル化してクエリベクトルを生成し、ナレッジベース内の対応するテキストベクトルと比較して、最も近いチャンクを見つけます。
|
||
|
||
|
||
|
||
**ベクトル検索設定：**
|
||
|
||
**Rerankモデル**: デフォルトでは無効です。有効にすると、サードパーティのRerankモデルがベクトル検索によって返されたテキストチャンクを並べ替えて結果を最適化します。これにより、LLMがより正確な情報にアクセスし、出力品質を向上させることができます。このオプションを有効にする前に、**設定** → **モデルプロバイダー**に移動してRerankモデルのAPIキーを設定してください。
|
||
|
||
<Note>
|
||
選択した埋め込みモデルがマルチモーダルの場合は、マルチモーダルRerankモデル（**Vision**アイコン付き）も選択してください。そうでない場合、検索された画像はリランキングと検索結果から除外されます。
|
||
</Note>
|
||
|
||
> この機能を有効にすると、Rerankモデルのトークンが消費されます。詳細については、関連するモデルの価格ページを参照してください。
|
||
|
||
**TopK**: ユーザーのクエリに最も類似していると判断されたテキストチャンクの取得数を決定します。選択したモデルのコンテキストウィンドウに基づいてチャンク数を自動的に調整します。デフォルト値は**3**で、値が高いほど多くのテキストチャンクが呼び出されます。
|
||
|
||
**Scoreしきい値**: チャンクが取得されるために必要な最小類似度スコアを設定します。このスコアを超えるチャンクのみが取得されます。デフォルト値は**0.5**です。しきい値が高いほど類似度の要求が高くなり、取得されるチャンク数が少なくなります。
|
||
|
||
> TopKとScore設定はRerankフェーズでのみ有効です。したがって、これらの設定を適用するには、Rerankモデルを追加して有効にする必要があります。
|
||
|
||
***
|
||
|
||
**全文検索**
|
||
|
||
**定義**: ドキュメント内のすべての用語をインデックス化し、ユーザーが任意の用語をクエリして、それらの用語を含むテキストフラグメントを返すことができます。
|
||
|
||
|
||
|
||
**Rerankモデル**: デフォルトでは無効です。有効にすると、サードパーティのRerankモデルが全文検索によって返されたテキストチャンクを並べ替えて結果を最適化します。これにより、LLMがより正確な情報にアクセスし、出力品質を向上させることができます。このオプションを有効にする前に、**設定** → **モデルプロバイダー**に移動してRerankモデルのAPIキーを設定してください。
|
||
|
||
<Note>
|
||
選択した埋め込みモデルがマルチモーダルの場合は、マルチモーダルRerankモデル（**Vision**アイコン付き）も選択してください。そうでない場合、検索された画像はリランキングと検索結果から除外されます。
|
||
</Note>
|
||
|
||
> この機能を有効にすると、Rerankモデルのトークンが消費されます。詳細については、関連するモデルの価格ページを参照してください。
|
||
|
||
**TopK**: ユーザーのクエリに最も類似していると判断されたテキストチャンクの取得数を決定します。選択したモデルのコンテキストウィンドウに基づいてチャンク数を自動的に調整します。デフォルト値は**3**で、値が高いほど多くのテキストチャンクが呼び出されます。
|
||
|
||
**Scoreしきい値**: チャンクが取得されるために必要な最小類似度スコアを設定します。このスコアを超えるチャンクのみが取得されます。デフォルト値は**0.5**です。しきい値が高いほど類似度の要求が高くなり、取得されるチャンク数が少なくなります。
|
||
|
||
> TopKとScore設定はRerankフェーズでのみ有効です。したがって、これらの設定を適用するには、Rerankモデルを追加して有効にする必要があります。
|
||
|
||
***
|
||
|
||
**ハイブリッド検索**
|
||
|
||
**定義**: 全文検索とベクトル検索を同時に実行し、リオーダリングステップを含めて、ユーザーのクエリに基づいて両方の検索結果から最もマッチする結果を選択します。
|
||
|
||
|
||
|
||
このモードでは、RerankモデルAPIを設定せずに**「重み付け設定」**を指定するか、**Rerankモデル**を有効にして検索を行うことができます。
|
||
|
||
* **重み付け設定**
|
||
|
||
この機能により、ユーザーは意味優先度とキーワード優先度にカスタム重みを設定できます。キーワード検索はナレッジベース内での全文検索を指し、意味検索はナレッジベース内でのベクトル検索を指します。
|
||
|
||
* **意味値を1にする**
|
||
|
||
意味検索モードのみを有効にします。埋め込みモデルを活用することで、クエリに含まれる正確な用語がナレッジベースになくても、ベクトル距離を計算することで検索の深度を高め、関連コンテンツを返すことができます。また、多言語コンテンツを処理する場合、意味検索は異なる言語間の意味をキャプチャし、より正確なクロス言語検索結果を提供できます。
|
||
* **キーワード値を1にする**
|
||
|
||
キーワード検索モードのみを有効にします。ナレッジベース内で入力テキストとの完全一致を実行し、ユーザーが正確な情報や用語を知っているシナリオに適しています。この方法は消費する計算リソースが比較的少なく、大量のドキュメントを含むナレッジベース内での迅速な検索に適しています。
|
||
* **キーワードと意味の重みをカスタマイズする**
|
||
|
||
意味検索またはキーワード検索のみを有効にするだけでなく、柔軟なカスタム重み設定を提供しています。両方の方法の重みを継続的に調整して、ビジネスシナリオに合った最適な重み比率を見つけることができます。
|
||
***
|
||
|
||
**Rerankモデル**
|
||
|
||
デフォルトでは無効です。有効にすると、サードパーティのRerankモデルがハイブリッド検索によって返されたテキストチャンクを並べ替えて結果を最適化します。これにより、LLMがより正確な情報にアクセスし、出力品質を向上させることができます。このオプションを有効にする前に、**設定** → **モデルプロバイダー**に移動してRerankモデルのAPIキーを設定してください。
|
||
|
||
<Note>
|
||
選択した埋め込みモデルがマルチモーダルの場合は、マルチモーダルRerankモデル（**Vision**アイコン付き）も選択してください。そうでない場合、検索された画像はリランキングと検索結果から除外されます。
|
||
</Note>
|
||
|
||
> この機能を有効にすると、Rerankモデルのトークンが消費されます。詳細については、関連するモデルの価格ページを参照してください。
|
||
|
||
**「重み付け設定」**と**「Rerankモデル」**設定では、以下のオプションがサポートされています：
|
||
|
||
**TopK**: ユーザーのクエリに最も類似していると判断されたテキストチャンクの取得数を決定します。選択したモデルのコンテキストウィンドウに基づいてチャンク数を自動的に調整します。デフォルト値は**3**で、値が高いほど多くのテキストチャンクが呼び出されます。
|
||
|
||
**Scoreしきい値**: チャンクが取得されるために必要な最小類似度スコアを設定します。このスコアを超えるチャンクのみが取得されます。デフォルト値は**0.5**です。しきい値が高いほど類似度の要求が高くなり、取得されるチャンク数が少なくなります。
|
||
</Tab>
|
||
<Tab title="エコノミー">
|
||
**エコノミー**
|
||
|
||
**エコノミーインデックス**モードでは、逆引きインデックスアプローチのみが利用可能です。逆引きインデックスはドキュメント内のキーワードを高速に検索するために設計されたデータ構造で、オンライン検索エンジンでよく使用されています。逆引きインデックスは**TopK**設定のみをサポートしています。
|
||
|
||
**TopK:** ユーザーのクエリに最も類似していると判断されたテキストチャンクの取得数を決定します。選択したモデルのコンテキストウィンドウに基づいてチャンク数を自動的に調整します。デフォルト値は**3**で、値が高いほど多くのテキストチャンクが呼び出されます。
|
||
|
||
<p align="center">
|
||
<img src="https://assets-docs.dify.ai/2025/04/b417cd028131d34779993fbcbb8dbdd7.png" width="300" />
|
||
</p>
|
||
|
||
</Tab>
|
||
</Tabs>
|
||
|
||
### リファレンス
|
||
|
||
検索設定を指定した後、以下のドキュメントを参照して、さまざまなシナリオでのキーワードとコンテンツチャンクのマッチング状況を確認できます。
|
||
|
||
<Card title="ナレッジ検索テスト" icon="link" href="/ja/use-dify/knowledge/test-retrieval">
|
||
ナレッジベース検索のテストと引用方法を学ぶ
|
||
</Card> |