# 성능 · 안정성 보고서 · IT 헬프데스크

- 이름:
- 사용한 CLI 에이전트: codex / claude / agy
- 이 파일을 `my-work/PERF.md`로 복사해 채웁니다.

## 1. 기준 재기 (Lab 01)

`uv run tools/flow.py bench base-helpdesk requests/<요청>.json -n 5`

| 요청 | p50 | p95 | max | 첫 호출 | 실패 |
| --- | --- | --- | --- | --- | --- |
| `faq-vpn` |  |  |  |  |  |
| `ticket-own` |  |  |  |  |  |
| `off-topic` |  |  |  |  |  |

## 2. 단계별 시간 (Lab 01 · `timings`)

| 요청 | classify | data (faq · ticket) | answer | review | total | 가장 오래 걸린 단계 |
| --- | --- | --- | --- | --- | --- | --- |
| `faq-vpn` |  |  |  |  |  |  |
| `ticket-own` |  |  |  |  |  |  |

- LLM을 부를 필요가 없었던 요청 · 단계는?

### 2-1. 질문 종류별 (Lab 01 예제 3)

| 질문 종류 | p50 | p95 | classify | data | answer | review | total | LLM 몫 (%) |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| FAQ (VPN) |  |  |  |  |  |  |  |  |
| 접수 번호 (T-1002) |  |  |  |  |  |  |  |  |
| IT 밖 (점심 메뉴) |  |  |  |  |  |  |  |  |

### 2-2. 시간 예산 (Lab 01 과제 2)

| `budget_ms` | `total_ms` | `llm_ms` | `over_budget` | `slowest_step` |
| --- | --- | --- | --- | --- |
| 60000 |  |  |  |  |
| 500 |  |  |  |  |
| (기본 3000) |  |  |  |  |

## 3. 한 가지씩 바꾸기 (Lab 02)

| 바꾼 것 (한 번에 하나) | `llm_calls` | p50 | p95 | 품질 테스트 (`lab01` · `lab02`) | 잃은 것 |
| --- | --- | --- | --- | --- | --- |
| 기준 |  |  |  |  |  |
| 규칙 먼저 |  |  |  |  |  |
| 캐시 (같은 질문 두 번째) |  |  |  |  |  |
| 검토 → 검사 (과제 1) |  |  |  |  |  |
| FAQ 번호 캐시 (과제 2, 다른 말 질문) |  |  |  |  |  |

### 3-1. 캐시 적중률 (Lab 02 예제 3)

| 재기 | 첫 호출 | p50 | max | hits · misses |
| --- | --- | --- | --- | --- |
| 캐시 씀 |  |  |  |  |
| 캐시 안 씀 |  |  |  |  |

- 적중률 10% · 30%일 때 평균 어림:

## 4. 멈췄을 때 (Lab 03)

| 상황 | 고치기 전 (시간 · 결과) | 고친 뒤 (시간 · route) |
| --- | --- | --- |
| FAQ가 느림 (8초) |  |  |
| FAQ가 오류 (500) |  |  |
| LLM이 멈춤 (`llm down`) |  |  |
| 캐시에 있는 질문 + FAQ 오류 |  |  |
| 접수 API만 오류 · 접수 질문 (예제 3) |  |  |
| 접수 API만 오류 · VPN 질문 (예제 3) |  |  |
| FAQ 느림 · 다음 질문 (과제 2 차단기) |  |  |

## 5. 상태 점검 (Lab 03 과제)

| 상황 | `status` | `checks` | 걸린 시간 |
| --- | --- | --- | --- |
| 평소 |  |  |  |
| FAQ 오류 |  |  |  |
| FAQ 느림 |  |  |  |
| LLM 멈춤 |  |  |  |

## 6. 운영 관점 개선 제안 (3줄)

-