71일차 신뢰도 기준 충족 추가 (2단계 6절, Lab 02 과제 마무리, RAG-EVAL 3-1절)

Last3Mon/71/LAB-02-Q-ANSWER-FROM-POLICIES.md

@@ -242,6 +242,24 @@ uv run tools/flow.py test cases/lab02-challenge.json -v --repeat 3
 uv run tools/flow.py test cases/lab02.json -v
 ```
 
+### 마무리 · 신뢰도 기준 충족을 세기 (5분)
+
+과제까지 끝나면 Q&A에 **신뢰도 기준**이 두 겹으로 완성됩니다 ([2단계 강의](../../Lecture/71/02-STAGE2-RAG-ANSWER.md) 6절): 답을 만들기 **전**의 관련도 기준(`top_score` ≥ 0.33, 예제 2)과 답을 만든 **뒤**의 답 검사 넷(과제). 둘 다 통과한 답만 `자동 답변`으로 나갑니다.
+
+방금 돌린 두 보고서(`runs/lab02-challenge-…json`의 첫 번째 실행 · `runs/lab02-…json`)에서 질문마다 어느 갈래로 갔는지 세어 `RAG-EVAL.md` 3-1절 표를 채웁니다.
+
+| 갈래 | 보고서에서 알아보는 법 |
+| --- | --- |
+| 기준 충족 → 자동 답변 | `route` = `자동 답변` |
+| 기준 미달 · 관련도 기준 | `route` = `담당자 연결`, `failed` 없음 (`top_score` < 0.33, LLM을 부르지 않음) |
+| 기준 미달 · 답 검사 | `route` = `담당자 연결`, `failed`에 검사 이름 (`draft`에 원래 답) |
+| (세지 않음) | HTTP 400 (빈 질문 — 질문이 아님) |
+
+<details><summary>▶ 충족률이 높을수록 좋은가</summary>
+
+아닙니다. 기준을 느슨하게 하면 충족률은 올라가지만, 규정에 답이 없는 질문까지 `자동 답변`으로 나갑니다. 충족률은 **"규정이 답할 수 있는 질문 중 얼마나"**와 함께 봐야 합니다. 그래서 갈래를 나눠 셉니다: 관련도 기준에서 넘어간 것은 "규정 밖 질문", 답 검사에서 넘어간 것은 "규정이 모자란 곳"(규정을 보완할 후보)입니다.
+</details>
+
 ## 막혔을 때
 
 | 증상 | 할 일 |
@@ -256,3 +274,4 @@ uv run tools/flow.py test cases/lab02.json -v
 - [ ] 예제 1·2: `cases/lab02.json` 통과, 출처가 제목으로 나온다.
 - [ ] 과제: `cases/lab02-challenge.json` 3번 반복 통과, `lab02`도 통과.
 - [ ] `RAG-EVAL.md` 3절에 "기준값에 걸러지지 않았는데 답이 없는 질문"을 적었다.
+- [ ] `RAG-EVAL.md` 3-1절에 신뢰도 기준 충족 수와 기준 미달(관련도 기준 · 답 검사)을 나눠 적었다.