답변 시뮬레이터

답변 시뮬레이터란?

설정한 RAG 문서와 시나리오에 따라 AI 챗봇이 사용자의 예상 답변대로 답변을 잘하는지 테스트 해볼 수 있는 기능입니다. 젤라또 만들기에서 챗봇을 설정해보고, 운영 환경에 노출하기 전에 답변을 테스트 해볼 수 있습니다.

사용 방법

• 젤라또 만들기에서 젤라또 저장 후 챗봇 키가 발급되면 저장 버튼 옆에 답변 시뮬레이터 버튼이 표시됩니다.

• 답변 시뮬레이터 페이지로 이동하여 질문을 하며 챗봇 답변을 확인할 수 있고, 답변 하위로 설정한 시나리오 가 함께 표시됩니다.

  • AI 챗봇의 답변과 챗봇이 답변을 만들 때 참조했던 설정한 의도(행동)가 무엇이었는지 행동 이름이 표시됩니다.

  • 답변이 이상하거나 유도한 방향이 아닐 경우 의도에 표시된 행동의 프롬프트를 확인하여 개선할 수 있습니다.

답변 품질 평가 기능이란?

젤라또 팀에 설정한 AI 챗봇의 답변의 품질 평가를 요청할 수 있습니다.

답변 품질 평가를 받고 싶은 질문과, 해당 질문에 대한 예상 답변을 업로드하여 젤라또 팀에게 신청하면 3 ~ 5 영업일 안에 젤라또 내부 평가 시스템을 통해 답변의 품질 평가 결과를 신청한 이메일로 받아볼 수 있습니다.

평가 항목은 다음과 같습니다.

• 적절성 (Relevance)

  • 질문의 핵심 의도를 정확히 파악했는가?

  • 관련 없는 내용 없이, 핵심 정보 중심으로 응답했는가?

• 맥락성 (Coherence)

  • 문장이 자연스럽고 논리적인 흐름으로 구성되었는가?

  • 사용자 입장에서 이해하기 쉬운가?

• AI 답변 유사도 평가

  • 예상 답변과 젤라또 챗봇 답변이 얼마나 유사한지 유사 여부를 AI로 평가

신청 방법

• 질문 입력란 하단에 답변 품질 평가 요청 버튼을 클릭하면 답변 품질 평가 요청 신청 창이 표시됩니다.

a. 신청 이메일: 답변 품질 평가 결과를 받을 이메일을 작성합니다.

b. 파일 업로드: 하단 템플릿을 다운받아 평가를 받고 싶은 질문과 예상 답변을 작성하여 업로드합니다.

c. 템플릿: 질문과 답변을 작성할 수 있는 엑셀 템플릿을 다운로드 합니다. _{- 파일 형식: xlsx - 최대 요청 가능한 질문-예상 답변 수: 50 건, 질문은 필수 입력 값입니다.}

d. 신청 이메일과 요청 파일을 업로드하면 신청이 완료됩니다.

• 평가가 완료되어 메일을 발송하기 전까지는 화면에 '평가 진행 중' 이라고 표시됩니다.