81 lines
2.6 KiB
Markdown
81 lines
2.6 KiB
Markdown
# 품질 규칙표 · FAQ 배치 · 직원 목록 · 접수 건
|
|
|
|
- 이름:
|
|
- 이 파일을 `my-work/QUALITY.md`로 복사해 채웁니다. 숫자는 `runs/`의 보고서나 `flow.py` 출력에서 옮깁니다.
|
|
|
|
## 1. 눈으로 검사 · 기준 검사 (Lab 01 예제 1, `requests/faq-batch-1.json`)
|
|
|
|
| 줄 id | 넣어도 되나 (내 눈) | 이유 한 마디 | 기준 검사(`base-faq-check`)는 | 규칙으로 바꾸면 |
|
|
| --- | --- | --- | --- | --- |
|
|
| | | | | |
|
|
|
|
- 내 눈으로 나쁜 줄: __ 줄 · 기준 검사가 나쁘다고 한 줄: __ 줄
|
|
- 규칙으로 못 잡는 것:
|
|
|
|
## 2. 짐작과 검사 결과 (Lab 01 예제 2)
|
|
|
|
| | 내 짐작 | 기준 검사 | 내 검사 (`my-faq-check`) |
|
|
| --- | --- | --- | --- |
|
|
| 나쁜 줄 수 | | | |
|
|
| 내가 놓친 줄 | | | |
|
|
| 워크플로우가 놓친 줄 | | | |
|
|
|
|
## 3. 경계 (Lab 01 예제 3, `requests/faq-edges.json`)
|
|
|
|
| 경계 | 내 검사 | 기준 검사 | 규칙에서 정한 말 (AGENTS.md 3절) |
|
|
| --- | --- | --- | --- |
|
|
| 제목 40자 · 41자 | | | |
|
|
| 공백만 있는 제목 | | | |
|
|
| 답 10자 · 9자 | | | |
|
|
| 하이픈 없는 휴대전화 · 사무실 번호 | | | |
|
|
| 사내 주소처럼 보이는 바깥 링크 | | | |
|
|
|
|
## 4. 보낸 사람에게 (Lab 01 과제 2)
|
|
|
|
- B-1의 `message`:
|
|
- `fix_list`에서 가장 많은 고칠 것:
|
|
- 고침 말을 LLM으로 만들지 않은 까닭:
|
|
|
|
## 5. 게이트 기준 (Lab 02 예제 1 · 3)
|
|
|
|
| 기준 `max_invalid_ratio` | 배치 | 받았나 | 넣은 줄 · 격리 | 이렇게 정하면 좋은 점 · 나쁜 점 |
|
|
| --- | --- | --- | --- | --- |
|
|
| 0.3 (기본) | B-1 | | | |
|
|
| 0.8 | B-1 | | | |
|
|
| 0.1 | B-2 | | | |
|
|
| 0.05 | B-2 | | | |
|
|
|
|
- 우리 팀의 기준과 그 이유:
|
|
|
|
## 6. LLM 검사 (Lab 02 예제 2 · 과제 2)
|
|
|
|
| 배치 | 줄 | 규칙 통과 | `llm_calls` | LLM이 막은 줄 | 세 번 돌려 같았나 |
|
|
| --- | --- | --- | --- | --- | --- |
|
|
| B-2 | | | | | |
|
|
| B-3 | | | | | |
|
|
|
|
- 같은 배치를 다시 보내면 (`--no-before`):
|
|
|
|
## 7. 품질 기록 · 알림 (Lab 02 과제 1)
|
|
|
|
| 배치 | score | 거절 | 알림 이유 |
|
|
| --- | --- | --- | --- |
|
|
| | | | |
|
|
|
|
## 8. 스키마로 하는 것 · 못 하는 것 (Lab 03 예제 1 · 3)
|
|
|
|
| 규칙 | 스키마로 | 따로 (Code · LLM) |
|
|
| --- | --- | --- |
|
|
| | | |
|
|
|
|
- 새 스키마 `ticket`: 워크플로우를 고쳤나 · 9줄 중 통과:
|
|
|
|
## 9. 품질 보고 (Lab 03 과제 1 · 2)
|
|
|
|
| 배치 | 데이터셋 | score | 거절 | 가장 흔한 문제 |
|
|
| --- | --- | --- | --- | --- |
|
|
| | | | | |
|
|
|
|
- 평균 · 추세를 회의에 어떻게 말할까 (거절 배치를 넣나):
|
|
- 가장 손볼 데이터셋과 그 이유:
|