RAG の回答が不正確なら、まず文書の分割方法を確認する

RAG の基本は、まず資料を検索し、その資料に基づいてモデルに回答させることです。取得した内容から文脈が失われていると、生成段階で誤った前提のまま説明が続きやすくなります。Anthropic の Contextual Retrieval の記事では、各チャンクに周辺の背景情報を補う方法と、キーワード検索と意味検索を組み合わせる方法を紹介しています。参考記事 ↗

保存したハードウェアのレビューに、「この設定では、使用量は約 8GB」という一文があるとします。これだけを独立したチャンクにすると、読者が「VRAM はどれくらい必要ですか」と質問した際、モデルはその文を見つけても、「この設定」がどの精度、入力長、同時実行数を指すか分かりません。

チャンクには、記事のタイトル、節の見出し、公開日、必要な条件を付けられます。たとえば、特定の量子化方式を用いた単一ユーザー向け推論実験の記述であり、この数値はその実験条件にのみ当てはまる、と明示します。背景情報は原文に基づく必要があり、モデルの推測で補ってはいけません。

質問の形の違いにも注意しましょう。型番、エラーコード、関数名は正確な一致が必要になりやすい一方、「長く動かすとメモリ使用量が増えるのはなぜか」は意味に基づく検索に近い問いです。ハイブリッド検索は試す価値がありますが、有効かどうかは自分の質問で検証する必要があります。

試してみる

読者が実際に尋ねそうな質問を 10 問用意してください。チャンクの本文だけを保存したナレッジベースと、タイトルや実験条件も付けたものを比較します。まず正しい資料が見つかったかを確認し、次に回答が正しいかを確認しましょう。この 2 段階を別々に記録すると、検索の問題をモデルの問題と取り違えにくくなります。

ベンダーが自社のデータセットで示した改善率を、そのまま自分のナレッジベースでも達成できる効果として書かないでください。