검색 평가표 · 사내 IT 규정 Q&A
- 이름:
- 사용한 CLI 에이전트: codex / claude / agy
- 이 파일을
my-work/RAG-EVAL.md로 복사해 채웁니다.
1. 정답표 (Lab 01 예제 1)
| 질문 |
답이 있는 문서 (name) |
섹션 |
답 문구 |
|
|
|
|
2. 검색 확인 (Lab 01)
3. 답과 출처 (Lab 02)
- 관련도 기준 0.33에 걸러지지 않았는데 규정에 답이 없는 질문:
3-1. 신뢰도 기준 충족 (Lab 02 과제 뒤)
신뢰도 기준 = 관련도 기준(top_score ≥ 0.33, 답 만들기 전) + 답 검사 넷 모두 통과(답 만든 뒤). 빈 질문(400)은 세지 않습니다.
| 테스트 파일 |
질문 수 |
기준 충족 (자동 답변) |
미달 · 관련도 기준 |
미달 · 답 검사 |
충족률 |
cases/lab02.json |
|
|
|
|
|
cases/lab02-challenge.json (첫 실행) |
|
|
|
|
|
| 합계 |
|
|
|
|
|
- 답 검사에서 넘어간 질문 (규정을 보완할 후보):
4. 한 가지씩 바꾸고 재기 (Lab 03)
| 설정 |
청크 수 |
doc@1 |
answer@1 |
answer@3 |
| 섹션 (기준) |
|
/24 |
/24 |
/24 |
| 200자 |
|
/24 |
/24 |
/24 |
| 400자 |
|
/24 |
/24 |
/24 |
| (내가 바꾼 것) |
|
/24 |
/24 |
/24 |
5. 어려운 질문 (Lab 03 과제)
| 질문 |
기대 문서 |
바꾸기 전 1등 |
바꾼 뒤 1등 |
|
|
|
|
- 고친 것이 다른 질문을 깨뜨리지 않았나? (
retrieval-* 다시)
