성능 · 안정성 보고서 · IT 헬프데스크
- 이름:
- 사용한 CLI 에이전트: codex / claude / agy
- 이 파일을
my-work/PERF.md로 복사해 채웁니다.
1. 기준 재기 (Lab 01)
uv run tools/flow.py bench base-helpdesk requests/<요청>.json -n 5
| 요청 |
p50 |
p95 |
max |
첫 호출 |
실패 |
faq-vpn |
|
|
|
|
|
ticket-own |
|
|
|
|
|
off-topic |
|
|
|
|
|
2. 단계별 시간 (Lab 01 · timings)
| 요청 |
classify |
data (faq · ticket) |
answer |
review |
total |
가장 오래 걸린 단계 |
faq-vpn |
|
|
|
|
|
|
ticket-own |
|
|
|
|
|
|
- LLM을 부를 필요가 없었던 요청 · 단계는?
2-1. 질문 종류별 (Lab 01 예제 3)
| 질문 종류 |
p50 |
p95 |
classify |
data |
answer |
review |
total |
LLM 몫 (%) |
| FAQ (VPN) |
|
|
|
|
|
|
|
|
| 접수 번호 (T-1002) |
|
|
|
|
|
|
|
|
| IT 밖 (점심 메뉴) |
|
|
|
|
|
|
|
|
2-2. 시간 예산 (Lab 01 과제 2)
budget_ms |
total_ms |
llm_ms |
over_budget |
slowest_step |
| 60000 |
|
|
|
|
| 500 |
|
|
|
|
| (기본 3000) |
|
|
|
|
3. 한 가지씩 바꾸기 (Lab 02)
| 바꾼 것 (한 번에 하나) |
llm_calls |
p50 |
p95 |
품질 테스트 (lab01 · lab02) |
잃은 것 |
| 기준 |
|
|
|
|
|
| 규칙 먼저 |
|
|
|
|
|
| 캐시 (같은 질문 두 번째) |
|
|
|
|
|
| 검토 → 검사 (과제 1) |
|
|
|
|
|
| FAQ 번호 캐시 (과제 2, 다른 말 질문) |
|
|
|
|
|
3-1. 캐시 적중률 (Lab 02 예제 3)
| 재기 |
첫 호출 |
p50 |
max |
hits · misses |
| 캐시 씀 |
|
|
|
|
| 캐시 안 씀 |
|
|
|
|
4. 멈췄을 때 (Lab 03)
| 상황 |
고치기 전 (시간 · 결과) |
고친 뒤 (시간 · route) |
| FAQ가 느림 (8초) |
|
|
| FAQ가 오류 (500) |
|
|
LLM이 멈춤 (llm down) |
|
|
| 캐시에 있는 질문 + FAQ 오류 |
|
|
| 접수 API만 오류 · 접수 질문 (예제 3) |
|
|
| 접수 API만 오류 · VPN 질문 (예제 3) |
|
|
| FAQ 느림 · 다음 질문 (과제 2 차단기) |
|
|
5. 상태 점검 (Lab 03 과제)
| 상황 |
status |
checks |
걸린 시간 |
| 평소 |
|
|
|
| FAQ 오류 |
|
|
|
| FAQ 느림 |
|
|
|
| LLM 멈춤 |
|
|
|
6. 운영 관점 개선 제안 (3줄)
