72일차 자료 추가(답 제외)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-25 22:57:12 +09:00
1 parent aaf77d4e18
commit febde9757c
@@ -0,0 +1,84 @@
+# 성능 · 안정성 보고서 · IT 헬프데스크
+
+- 이름:
+- 사용한 CLI 에이전트: codex / claude / agy
+- 이 파일을 `my-work/PERF.md`로 복사해 채웁니다.
+
+## 1. 기준 재기 (Lab 01)
+
+`uv run tools/flow.py bench base-helpdesk requests/<요청>.json -n 5`
+
+| 요청 | p50 | p95 | max | 첫 호출 | 실패 |
+| --- | --- | --- | --- | --- | --- |
+| `faq-vpn` |  |  |  |  |  |
+| `ticket-own` |  |  |  |  |  |
+| `off-topic` |  |  |  |  |  |
+
+## 2. 단계별 시간 (Lab 01 · `timings`)
+
+| 요청 | classify | data (faq · ticket) | answer | review | total | 가장 오래 걸린 단계 |
+| --- | --- | --- | --- | --- | --- | --- |
+| `faq-vpn` |  |  |  |  |  |  |
+| `ticket-own` |  |  |  |  |  |  |
+
+- LLM을 부를 필요가 없었던 요청 · 단계는?
+
+### 2-1. 질문 종류별 (Lab 01 예제 3)
+
+| 질문 종류 | p50 | p95 | classify | data | answer | review | total | LLM 몫 (%) |
+| --- | --- | --- | --- | --- | --- | --- | --- | --- |
+| FAQ (VPN) |  |  |  |  |  |  |  |  |
+| 접수 번호 (T-1002) |  |  |  |  |  |  |  |  |
+| IT 밖 (점심 메뉴) |  |  |  |  |  |  |  |  |
+
+### 2-2. 시간 예산 (Lab 01 과제 2)
+
+| `budget_ms` | `total_ms` | `llm_ms` | `over_budget` | `slowest_step` |
+| --- | --- | --- | --- | --- |
+| 60000 |  |  |  |  |
+| 500 |  |  |  |  |
+| (기본 3000) |  |  |  |  |
+
+## 3. 한 가지씩 바꾸기 (Lab 02)
+
+| 바꾼 것 (한 번에 하나) | `llm_calls` | p50 | p95 | 품질 테스트 (`lab01` · `lab02`) | 잃은 것 |
+| --- | --- | --- | --- | --- | --- |
+| 기준 |  |  |  |  |  |
+| 규칙 먼저 |  |  |  |  |  |
+| 캐시 (같은 질문 두 번째) |  |  |  |  |  |
+| 검토 → 검사 (과제 1) |  |  |  |  |  |
+| FAQ 번호 캐시 (과제 2, 다른 말 질문) |  |  |  |  |  |
+
+### 3-1. 캐시 적중률 (Lab 02 예제 3)
+
+| 재기 | 첫 호출 | p50 | max | hits · misses |
+| --- | --- | --- | --- | --- |
+| 캐시 씀 |  |  |  |  |
+| 캐시 안 씀 |  |  |  |  |
+
+- 적중률 10% · 30%일 때 평균 어림:
+
+## 4. 멈췄을 때 (Lab 03)
+
+| 상황 | 고치기 전 (시간 · 결과) | 고친 뒤 (시간 · route) |
+| --- | --- | --- |
+| FAQ가 느림 (8초) |  |  |
+| FAQ가 오류 (500) |  |  |
+| LLM이 멈춤 (`llm down`) |  |  |
+| 캐시에 있는 질문 + FAQ 오류 |  |  |
+| 접수 API만 오류 · 접수 질문 (예제 3) |  |  |
+| 접수 API만 오류 · VPN 질문 (예제 3) |  |  |
+| FAQ 느림 · 다음 질문 (과제 2 차단기) |  |  |
+
+## 5. 상태 점검 (Lab 03 과제)
+
+| 상황 | `status` | `checks` | 걸린 시간 |
+| --- | --- | --- | --- |
+| 평소 |  |  |  |
+| FAQ 오류 |  |  |  |
+| FAQ 느림 |  |  |  |
+| LLM 멈춤 |  |  |  |
+
+## 6. 운영 관점 개선 제안 (3줄)
+
+- 
@@ -0,0 +1,27 @@
+# 테스트 보고서 · IT 헬프데스크 (빠르게 · 멈춰도 답하게)
+
+- 이름:
+- 사용한 CLI 에이전트: codex / claude / agy
+- 워크플로우 파일: `my-work/helpdesk.json`, `my-work/health.json`
+
+## 1. 통과한 테스트
+
+| 테스트 파일 | 결과 |
+| --- | --- |
+| `cases/lab01.json` (시간 기록) | Passed  /4 |
+| `cases/lab02.json` (규칙 · 캐시) | Passed  /9 |
+| `cases/lab02-challenge.json` (LLM 한 번) | Passed  /5 |
+| `cases/lab03.json` (데이터 API 고장) | Passed  /4 |
+| `cases/lab03-llm-down.json` (LLM 멈춤) | Passed  /4 |
+| `cases/lab03-challenge.json` (상태 점검) | Passed  /4 |
+
+## 2. 실패와 고친 내용
+
+| 실패한 케이스 | 처음 결과 | 내가 생각한 원인 | 에이전트가 고친 곳 | 고친 뒤 |
+| --- | --- | --- | --- | --- |
+|  |  |  |  |  |
+
+## 3. 빨라진 만큼 잃은 것
+
+- 검토 LLM을 없애서 잃은 것은? 캐시를 써서 생길 수 있는 문제는?
+-