42 lines
1.1 KiB
Markdown
42 lines
1.1 KiB
Markdown
 
|
# 검색 평가표 · 사내 IT 규정 Q&A
|
||
|
|
|
||
|
|
- 이름:
|
||
|
|
- 사용한 CLI 에이전트: codex / claude / agy
|
||
|
|
- 이 파일을 `my-work/RAG-EVAL.md`로 복사해 채웁니다.
|
||
|
|
|
||
|
|
## 1. 정답표 (Lab 01 예제 1)
|
||
|
|
|
||
|
|
| 질문 | 답이 있는 문서 (`name`) | 섹션 | 답 문구 |
|
||
|
|
| --- | --- | --- | --- |
|
||
|
|
| | | | |
|
||
|
|
|
||
|
|
## 2. 검색 확인 (Lab 01)
|
||
|
|
|
||
|
|
| 질문 | 1등 문서 | 1등 점수 | 정답표와 같나 |
|
||
|
|
| --- | --- | --- | --- |
|
||
|
|
| | | | |
|
||
|
|
|
||
|
|
## 3. 답과 출처 (Lab 02)
|
||
|
|
|
||
|
|
| 질문 | route | 답 (요약) | cited | 맞나 |
|
||
|
|
| --- | --- | --- | --- | --- |
|
||
|
|
| | | | | |
|
||
|
|
|
||
|
|
- 관련도 기준 0.33에 걸러지지 않았는데 규정에 답이 없는 질문:
|
||
|
|
|
||
|
|
## 4. 한 가지씩 바꾸고 재기 (Lab 03)
|
||
|
|
|
||
|
|
| 설정 | 청크 수 | doc@1 | answer@1 | answer@3 |
|
||
|
|
| --- | --- | --- | --- | --- |
|
||
|
|
| 섹션 (기준) | | /24 | /24 | /24 |
|
||
|
|
| 200자 | | /24 | /24 | /24 |
|
||
|
|
| 400자 | | /24 | /24 | /24 |
|
||
|
|
| (내가 바꾼 것) | | /24 | /24 | /24 |
|
||
|
|
|
||
|
|
## 5. 어려운 질문 (Lab 03 과제)
|
||
|
|
|
||
|
|
| 질문 | 기대 문서 | 바꾸기 전 1등 | 바꾼 뒤 1등 |
|
||
|
|
| --- | --- | --- | --- |
|
||
|
|
| | | | |
|
||
|
|
|
||
|
|
- 고친 것이 다른 질문을 깨뜨리지 않았나? (`retrieval-*` 다시)
|