71일차 신뢰도 기준 충족 추가 (2단계 6절, Lab 02 과제 마무리, RAG-EVAL 3-1절)

Lecture/71/02-STAGE2-RAG-ANSWER.md

@@ -280,6 +280,19 @@ flowchart LR
 - 두 담당자 연결의 **말이 다릅니다.** 담당자는 "규정에 아예 없는 질문"과 "규정이 모자란 질문"을 다르게 처리합니다. 뒤쪽이 쌓이면 **규정을 보완할 곳**입니다 (VPN 속도, 노트북 사양, 비밀번호 찾기, 보안 교육 횟수).
 - 69일차 검토자의 fail-closed와 같은 생각입니다: **확실하지 않으면 자동으로 내보내지 않습니다.**
 
+**이 두 겹이 곧 "신뢰도 기준"입니다.** 평가 기준이나 요구서에 "RAG 검색 후 답변을 생성하고 검증해 **신뢰도 기준을 충족**하면 자동 답변, 아니면 이관"이라는 말이 나오면, 오늘 만든 것이 그 장치입니다. 신뢰도를 숫자 하나(예: LLM이 스스로 매긴 확신 점수)로 두지 않고, **확인할 수 있는 조건 두 겹**으로 나눴습니다.
+
+| 신뢰도 기준 | 오늘의 장치 | 언제 보나 | 기준 |
+| --- | --- | --- | --- |
+| 근거가 있나 (검색 신뢰도) | 관련도 기준 | 답을 만들기 전 | `top_score` ≥ 0.33 (3절, 규정 질문 0.46~0.62 · 규정 밖 0.20~0.26 사이에서 재서 정함) |
+| 답이 근거를 따랐나 (답변 신뢰도) | 답 검사 넷 | 답을 만든 뒤 | `found_in_policies` · `cites_excerpt` · `grounded`(두 글자 묶음 30%) · `numbers_from_policies` **모두** 통과 (5절) |
+| 기준 충족 | 자동 답변 + 출처 | | 두 겹 모두 통과 |
+| 기준 미달 | 담당자 연결 | | 어느 하나라도 실패 → `top_score` 또는 `draft` · `failed`를 담당자에게 |
+
+- LLM에게 "얼마나 확신하나"를 물어 점수로 쓰는 방법도 있지만, 그 점수도 LLM이 만든 글이라 흔들리고 근거를 보여 주지 못합니다. 오늘 기준은 **코드가 계산해 늘 같은 결과**이고, 미달이면 **어느 조건에서 떨어졌는지**(`top_score`, `failed`) 결과에 남습니다.
+- 기준값은 정해진 정답이 아니라 **재서 정하고 테스트로 고정**한 것입니다 (`cases/lab03-threshold.json`, `lab02-challenge`). 모델 · 청크 · 문서가 바뀌면 다시 잽니다.
+- 그래서 결과서에 "신뢰도 기준 충족률"을 쓸 때는 `자동 답변`으로 나간 비율, 그리고 기준 미달로 넘어간 건을 **관련도 기준 · 답 검사로 나눈 수**를 함께 적습니다.
+
 ### 6.1 앞 일차와의 연결
 
 오늘 2단계는 새로 배우는 것이 아니라 **앞에서 한 세 가지를 RAG에 다시 쓰는 것**입니다.