85 lines
2.6 KiB
Markdown
85 lines
2.6 KiB
Markdown
# 성능 · 안정성 보고서 · IT 헬프데스크
|
|
|
|
- 이름:
|
|
- 사용한 CLI 에이전트: codex / claude / agy
|
|
- 이 파일을 `my-work/PERF.md`로 복사해 채웁니다.
|
|
|
|
## 1. 기준 재기 (Lab 01)
|
|
|
|
`uv run tools/flow.py bench base-helpdesk requests/<요청>.json -n 5`
|
|
|
|
| 요청 | p50 | p95 | max | 첫 호출 | 실패 |
|
|
| --- | --- | --- | --- | --- | --- |
|
|
| `faq-vpn` | | | | | |
|
|
| `ticket-own` | | | | | |
|
|
| `off-topic` | | | | | |
|
|
|
|
## 2. 단계별 시간 (Lab 01 · `timings`)
|
|
|
|
| 요청 | classify | data (faq · ticket) | answer | review | total | 가장 오래 걸린 단계 |
|
|
| --- | --- | --- | --- | --- | --- | --- |
|
|
| `faq-vpn` | | | | | | |
|
|
| `ticket-own` | | | | | | |
|
|
|
|
- LLM을 부를 필요가 없었던 요청 · 단계는?
|
|
|
|
### 2-1. 질문 종류별 (Lab 01 예제 3)
|
|
|
|
| 질문 종류 | p50 | p95 | classify | data | answer | review | total | LLM 몫 (%) |
|
|
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
|
|
| FAQ (VPN) | | | | | | | | |
|
|
| 접수 번호 (T-1002) | | | | | | | | |
|
|
| IT 밖 (점심 메뉴) | | | | | | | | |
|
|
|
|
### 2-2. 시간 예산 (Lab 01 과제 2)
|
|
|
|
| `budget_ms` | `total_ms` | `llm_ms` | `over_budget` | `slowest_step` |
|
|
| --- | --- | --- | --- | --- |
|
|
| 60000 | | | | |
|
|
| 500 | | | | |
|
|
| (기본 3000) | | | | |
|
|
|
|
## 3. 한 가지씩 바꾸기 (Lab 02)
|
|
|
|
| 바꾼 것 (한 번에 하나) | `llm_calls` | p50 | p95 | 품질 테스트 (`lab01` · `lab02`) | 잃은 것 |
|
|
| --- | --- | --- | --- | --- | --- |
|
|
| 기준 | | | | | |
|
|
| 규칙 먼저 | | | | | |
|
|
| 캐시 (같은 질문 두 번째) | | | | | |
|
|
| 검토 → 검사 (과제 1) | | | | | |
|
|
| FAQ 번호 캐시 (과제 2, 다른 말 질문) | | | | | |
|
|
|
|
### 3-1. 캐시 적중률 (Lab 02 예제 3)
|
|
|
|
| 재기 | 첫 호출 | p50 | max | hits · misses |
|
|
| --- | --- | --- | --- | --- |
|
|
| 캐시 씀 | | | | |
|
|
| 캐시 안 씀 | | | | |
|
|
|
|
- 적중률 10% · 30%일 때 평균 어림:
|
|
|
|
## 4. 멈췄을 때 (Lab 03)
|
|
|
|
| 상황 | 고치기 전 (시간 · 결과) | 고친 뒤 (시간 · route) |
|
|
| --- | --- | --- |
|
|
| FAQ가 느림 (8초) | | |
|
|
| FAQ가 오류 (500) | | |
|
|
| LLM이 멈춤 (`llm down`) | | |
|
|
| 캐시에 있는 질문 + FAQ 오류 | | |
|
|
| 접수 API만 오류 · 접수 질문 (예제 3) | | |
|
|
| 접수 API만 오류 · VPN 질문 (예제 3) | | |
|
|
| FAQ 느림 · 다음 질문 (과제 2 차단기) | | |
|
|
|
|
## 5. 상태 점검 (Lab 03 과제)
|
|
|
|
| 상황 | `status` | `checks` | 걸린 시간 |
|
|
| --- | --- | --- | --- |
|
|
| 평소 | | | |
|
|
| FAQ 오류 | | | |
|
|
| FAQ 느림 | | | |
|
|
| LLM 멈춤 | | | |
|
|
|
|
## 6. 운영 관점 개선 제안 (3줄)
|
|
|
|
-
|