77 lines
2.3 KiB
Markdown
77 lines
2.3 KiB
Markdown
|
# 운영 도우미 설계표 · IT 헬프데스크 (2026-11-04 아침)
|
||
|
|
|
||
|
|
- 이름:
|
||
|
|
- 이 파일을 `my-work/OPS.md`로 복사해 채웁니다. 숫자는 `runs/`의 보고서나 `flow.py` 출력에서 옮깁니다.
|
||
|
|
|
||
|
|
## 1. 출처 둘러보기 · 기준 대시보드 (Lab 01 예제 1)
|
||
|
|
|
||
|
|
| 출처 | 어디서 (몇 일차) | `morning`에서 본 것 | 기준 대시보드(`base-ops-facts`)는 | 빠진 것 · 틀린 것 |
|
||
|
|
| --- | --- | --- | --- | --- |
|
||
|
|
| 실행 기록 | | | | |
|
||
|
|
| 알림 | | | | |
|
||
|
|
| DLQ | | | | |
|
||
|
|
| 품질 기록 · 격리함 | | | | |
|
||
|
|
| 사용량 · 예산 | | | | |
|
||
|
|
| 릴리스 | | | | |
|
||
|
|
|
||
|
|
- 가장 먼저 볼 곳과 이유:
|
||
|
|
|
||
|
|
## 2. 기간을 바꾸면 (Lab 01 예제 3)
|
||
|
|
|
||
|
|
| 기간 | 실행 · 오류 | 그대로인 것 | `null`이 된 것 |
|
||
|
|
| --- | --- | --- | --- |
|
||
|
|
| 두 주 | | | |
|
||
|
|
| 하루 (10/26) | | | |
|
||
|
|
| 빈 주 (11/02~11/06) | | | |
|
||
|
|
|
||
|
|
## 3. 상태 기준 (Lab 01 과제 1 · 2)
|
||
|
|
|
||
|
|
| 영역 | 상태 | 그 숫자 | 기준 | 바꾸고 싶은 것 |
|
||
|
|
| --- | --- | --- | --- | --- |
|
||
|
|
| | | | | |
|
||
|
|
|
||
|
|
- 출처가 멈춘 아침 (`fault usage error`): `cost` · `health.cost` · `overall` =
|
||
|
|
|
||
|
|
## 4. 도우미가 하면 안 되는 것 (Lab 02 예제 1 · 2)
|
||
|
|
|
||
|
|
| 질문 | 기준 챗봇의 답 | 무엇이 위험한가 | 내 도우미 |
|
||
|
|
| --- | --- | --- | --- |
|
||
|
|
| DLQ 1번 다시 돌려 줘 | | | |
|
||
|
|
| 점심 메뉴 추천해 줘 | | | |
|
||
|
|
| 카나리 버전 문제 있어? | | | |
|
||
|
|
|
||
|
|
- 숫자 확인이 잡지 못하는 것:
|
||
|
|
|
||
|
|
## 5. 질문을 바꾸면 · LLM 라우터 (Lab 02 예제 3 · 과제 1)
|
||
|
|
|
||
|
|
| 질문 | 낱말 라우터 | LLM 라우터를 붙인 뒤 | 맞나 |
|
||
|
|
| --- | --- | --- | --- |
|
||
|
|
| | | | |
|
||
|
|
|
||
|
|
## 6. 감사 기록 (Lab 02 과제 2)
|
||
|
|
|
||
|
|
| 질문 | 기록의 `area` · `refused` · `reason` | 이 기록으로 알 수 있는 것 |
|
||
|
|
| --- | --- | --- |
|
||
|
|
| | | |
|
||
|
|
|
||
|
|
## 7. 브리핑 (Lab 03 예제 1 · 2)
|
||
|
|
|
||
|
|
- 먼저 볼 것 셋:
|
||
|
|
- LLM 요약이 한 것 · 하지 않은 것:
|
||
|
|
|
||
|
|
## 8. 아침이 바뀌면 (Lab 03 예제 3)
|
||
|
|
|
||
|
|
| 사람이 한 일 | 빨강 | 먼저 볼 것 |
|
||
|
|
| --- | --- | --- |
|
||
|
|
| (처음) | | |
|
||
|
|
| parked 둘 처리 | | |
|
||
|
|
| 카나리 끔 | | |
|
||
|
|
| 예산 올림 | | |
|
||
|
|
|
||
|
|
## 9. 평가 · 관문 (Lab 03 과제 1 · 2)
|
||
|
|
|
||
|
|
| 평가 | score | gate | 틀린 케이스 |
|
||
|
|
| --- | --- | --- | --- |
|
||
|
|
| 골든 8 | | | |
|
||
|
|
|
||
|
|
- 평가가 남긴 알림이 다음 평가에 준 영향:
|