71일차 자료 추가(답 제외)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
mcchaeandClaude Opus 5.5 committed 2026-10-23 06:50:50 +09:00
1 parent 505dcd313f
commit 176e195dc2
62 files changed
+6288

No files matched your search

@@ -0,0 +1,42 @@
# 검색 평가표 · 사내 IT 규정 Q&A
- 이름:
- 사용한 CLI 에이전트: codex / claude / agy
- 이 파일을 `my-work/RAG-EVAL.md`로 복사해 채웁니다.
## 1. 정답표 (Lab 01 예제 1)
| 질문 | 답이 있는 문서 (`name`) | 섹션 | 답 문구 |
| --- | --- | --- | --- |
| | | | |
## 2. 검색 확인 (Lab 01)
| 질문 | 1등 문서 | 1등 점수 | 정답표와 같나 |
| --- | --- | --- | --- |
| | | | |
## 3. 답과 출처 (Lab 02)
| 질문 | route | 답 (요약) | cited | 맞나 |
| --- | --- | --- | --- | --- |
| | | | | |
- 관련도 기준 0.33에 걸러지지 않았는데 규정에 답이 없는 질문:
## 4. 한 가지씩 바꾸고 재기 (Lab 03)
| 설정 | 청크 수 | doc@1 | answer@1 | answer@3 |
| --- | --- | --- | --- | --- |
| 섹션 (기준) | | /24 | /24 | /24 |
| 200자 | | /24 | /24 | /24 |
| 400자 | | /24 | /24 | /24 |
| (내가 바꾼 것) | | /24 | /24 | /24 |
## 5. 어려운 질문 (Lab 03 과제)
| 질문 | 기대 문서 | 바꾸기 전 1등 | 바꾼 뒤 1등 |
| --- | --- | --- | --- |
| | | | |
- 고친 것이 다른 질문을 깨뜨리지 않았나? (`retrieval-*` 다시)
@@ -0,0 +1,32 @@
# 테스트 보고서 · 사내 IT 규정 Q&A
- 이름:
- 사용한 CLI 에이전트: codex / claude / agy
- 워크플로우 파일: `my-work/index.json, my-work/search.json, my-work/policy-qa.json`
## 1. 내가 쓴 테스트 (`cases/my-cases.json`)
| 케이스 | 요청 | 기대 결과 (업무 규칙) |
| --- | --- | --- |
| | | |
## 2. 실패와 고친 내용
| 실패한 케이스 | 처음 결과 (3번 중 통과) | 내가 생각한 원인 | 에이전트가 고친 곳 | 고친 뒤 (3번 중 통과) |
| --- | --- | --- | --- | --- |
| | | | | |
## 3. 최종 결과
| 테스트 파일 | 결과 |
| --- | --- |
| `cases/lab02.json` (답과 출처) | Passed /6 |
| `cases/lab02-challenge.json` (답 검사) | Passed /8 |
| `cases/retrieval-answer.json` (answer@1) | Passed /24 |
| `cases/lab03-threshold.json` (기준값) | Passed /10 |
| `cases/my-cases.json --repeat 3` | Passed / |
## 4. 남은 문제 · 배운 점
- 지시문(systemMessage)으로 고친 것과 규칙 노드(If·Code)로 고친 것 중 어느 쪽이 더 안정적이었나?
-