回答シミュレーター
回答シミュレーターとは？
設定したRAGドキュメントとシナリオに基づき、AIチャットボットがユーザーの想定した回答通りに正しく応答できるかをテストできる機能です。 「ジェラート作成」画面でチャットボットを設定し、本番環境に公開する前にその回答を事前に確認することができます。
使用方法
「ジェラート作成」で保存後、チャットボットキーが発行されると、保存ボタンの隣に「回答シミュレーター」ボタンが表示されます。
「回答シミュレーターページ」に移動し、質問を入力するとチャットボットの回答と共に、設定されたシナリオも表示されます。
チャットボットが参照した「意図（行動）」が回答の下に表示されます。意図とは「ジェラート作成 > シナリオ：行動」で設定した行動名を指します。
回答が不適切または意図したものと異なる場合は、表示された意図のプロンプトを確認し、改善してください。
「ジェラート作成 > シナリオ：行動」で設定した行動名が「意図」として表示されます。 該当する行動のガイドラインを確認しながらテストしてみてください。
回答品質評価機能とは？
ジェラートチームに、設定したAIチャットボットの回答品質の評価を依頼することができます。
評価を希望する質問と、それに対する想定回答をアップロードして申請すると、3〜5営業日以内にジェラートの内部評価システムを通じて、評価結果が申請時に記載したメールアドレス宛に送信されます。
評価項目は以下の通りです。
適切性（Relevance）
質問の核心となる意図を正確に把握しているか？
関連性のない情報を含まず、重要な情報を中心に回答しているか？
文脈性（Coherence）
文が自然で論理的な流れになっているか？
ユーザーにとって理解しやすい内容か？
AI回答類似度評価
想定された回答とジェラートチャットボットの回答がどの程度一致しているかをAIで評価します。
質問は必須項目として入力する必要があり、想定回答を除いてアップロードした場合は、AI回答類似度の評価対象外となります。
申請方法
質問入力欄の下にある「回答品質評価を申請」ボタンをクリックすると、評価申請フォームが表示されます。
a. 申請用メールアドレス：評価結果を受け取るメールアドレスを入力します。
b. ファイルアップロード：下部にあるテンプレートをダウンロードし、評価を希望する質問と想定回答を記入してアップロードします。
c. テンプレート：質問と回答を記入できるExcelテンプレートをダウンロードします。 - ファイル形式：xlsx - 最大申請可能件数：質問-想定回答のペアで50件まで（質問は必須入力項目です）
d. 申請用メールアドレスとファイルをアップロードすると、申請が完了します。
評価が完了し、メールが送信されるまでは、画面上に「評価進行中」と表示されます。
Last updated
Was this helpful?