425 lines
12 KiB
Plaintext
425 lines
12 KiB
Plaintext
|
$ uv run tools/flow.py test cases/replay-normal.json -v
|
|||
|
|
✔ before: POST http://localhost:8800/admin/fault · HTTP 200 · 0.0s · {"faq": "ok", "tickets": "ok", "prompts": "ok", "usage": "ok", "dlq": "ok", "slow_seconds": 1.2}
|
|||
|
|
→ request POST http://localhost:8800/admin/fault
|
|||
|
|
{
|
|||
|
|
"faq": "ok"
|
|||
|
|
}
|
|||
|
|
← response HTTP 200
|
|||
|
|
{
|
|||
|
|
"faq": "ok",
|
|||
|
|
"tickets": "ok",
|
|||
|
|
"prompts": "ok",
|
|||
|
|
"usage": "ok",
|
|||
|
|
"dlq": "ok",
|
|||
|
|
"slow_seconds": 1.2
|
|||
|
|
}
|
|||
|
|
POST http://localhost:5678/webhook/my-helpdesk · 10 case(s) × 1
|
|||
|
|
✔ normal · 회의실 와이파이가 안 · 2.3s
|
|||
|
|
→ request POST /webhook/my-helpdesk
|
|||
|
|
{
|
|||
|
|
"question": "회의실 와이파이가 안 잡혀요",
|
|||
|
|
"user": "이준호",
|
|||
|
|
"tag": "normal"
|
|||
|
|
}
|
|||
|
|
← response HTTP 200
|
|||
|
|
{
|
|||
|
|
"route": "자동 답변",
|
|||
|
|
"status": "success",
|
|||
|
|
"topic": "와이파이",
|
|||
|
|
"answer": "회의실에서 와이파이가 잡히지 않으면 가까운 공유기 번호를 IT 포털에 신고해 주세요. 사내 와이파이는 'CORP-WIFI'에 사번으로 로그인합니다.",
|
|||
|
|
"error": null
|
|||
|
|
}
|
|||
|
|
✔ normal · 사내 Wi-Fi 비밀번 · 1.1s
|
|||
|
|
→ request POST /webhook/my-helpdesk
|
|||
|
|
{
|
|||
|
|
"question": "사내 Wi-Fi 비밀번호가 뭐예요?",
|
|||
|
|
"user": "박서연",
|
|||
|
|
"tag": "normal"
|
|||
|
|
}
|
|||
|
|
← response HTTP 200
|
|||
|
|
{
|
|||
|
|
"route": "자동 답변",
|
|||
|
|
"status": "success",
|
|||
|
|
"topic": "와이파이",
|
|||
|
|
"answer": "사내 와이파이는 'CORP-WIFI'에 사번으로 로그인합니다. 비밀번호는 별도로 없으며, 사번으로 인증합니다. 회의실에서 연결이 안 되면 가까운 공유기 번호를 IT 포털에 신고해 주세요.",
|
|||
|
|
"error": null
|
|||
|
|
}
|
|||
|
|
✔ normal · 와이파이가 자주 끊겨요 · 1.2s
|
|||
|
|
→ request POST /webhook/my-helpdesk
|
|||
|
|
{
|
|||
|
|
"question": "와이파이가 자주 끊겨요",
|
|||
|
|
"user": "최유진",
|
|||
|
|
"tag": "normal"
|
|||
|
|
}
|
|||
|
|
← response HTTP 200
|
|||
|
|
{
|
|||
|
|
"route": "자동 답변",
|
|||
|
|
"status": "success",
|
|||
|
|
"topic": "와이파이",
|
|||
|
|
"answer": "사내 와이파이는 'CORP-WIFI'에 사번으로 로그인합니다. 회의실 등 특정 장소에서 와이파이가 자주 끊기면 가까운 공유기 번호를 IT 포털에 신고해 주세요.",
|
|||
|
|
"error": null
|
|||
|
|
}
|
|||
|
|
✔ normal · 노트북이 와이파이에 연 · 0.9s
|
|||
|
|
→ request POST /webhook/my-helpdesk
|
|||
|
|
{
|
|||
|
|
"question": "노트북이 와이파이에 연결이 안 돼요",
|
|||
|
|
"user": "한지훈",
|
|||
|
|
"tag": "normal"
|
|||
|
|
}
|
|||
|
|
← response HTTP 200
|
|||
|
|
{
|
|||
|
|
"route": "자동 답변",
|
|||
|
|
"status": "success",
|
|||
|
|
"topic": "와이파이",
|
|||
|
|
"answer": "사내 와이파이는 'CORP-WIFI'에 사번으로 로그인합니다. 회의실에서 와이파이가 잡히지 않으면 가까운 공유기 번호를 IT 포털에 신고해 주세요.",
|
|||
|
|
"error": null
|
|||
|
|
}
|
|||
|
|
✔ normal · 손님용 wifi도 있나 · 1.2s
|
|||
|
|
→ request POST /webhook/my-helpdesk
|
|||
|
|
{
|
|||
|
|
"question": "손님용 wifi도 있나요?",
|
|||
|
|
"user": "김민지",
|
|||
|
|
"tag": "normal"
|
|||
|
|
}
|
|||
|
|
← response HTTP 200
|
|||
|
|
{
|
|||
|
|
"route": "자동 답변",
|
|||
|
|
"status": "success",
|
|||
|
|
"topic": "와이파이",
|
|||
|
|
"answer": "손님용 와이파이에 대한 안내는 제공되지 않습니다. 사내 와이파이는 'CORP-WIFI'에 사번으로 로그인하여 사용합니다. 추가 문의 사항은 IT 포털에 문의해 주세요.",
|
|||
|
|
"error": null
|
|||
|
|
}
|
|||
|
|
✔ normal · VPN이 자꾸 끊겨요 · 0.9s
|
|||
|
|
→ request POST /webhook/my-helpdesk
|
|||
|
|
{
|
|||
|
|
"question": "VPN이 자꾸 끊겨요",
|
|||
|
|
"user": "정우성",
|
|||
|
|
"tag": "normal"
|
|||
|
|
}
|
|||
|
|
← response HTTP 200
|
|||
|
|
{
|
|||
|
|
"route": "자동 답변",
|
|||
|
|
"status": "success",
|
|||
|
|
"topic": "VPN",
|
|||
|
|
"answer": "VPN 클라이언트를 최신 버전으로 업데이트하고, 인증서 만료 여부를 확인한 뒤 다시 접속합니다.",
|
|||
|
|
"error": null
|
|||
|
|
}
|
|||
|
|
✔ normal · 비밀번호를 잊어버렸어요 · 0.8s
|
|||
|
|
→ request POST /webhook/my-helpdesk
|
|||
|
|
{
|
|||
|
|
"question": "비밀번호를 잊어버렸어요",
|
|||
|
|
"user": "오세훈",
|
|||
|
|
"tag": "normal"
|
|||
|
|
}
|
|||
|
|
← response HTTP 200
|
|||
|
|
{
|
|||
|
|
"route": "자동 답변",
|
|||
|
|
"status": "success",
|
|||
|
|
"topic": "비밀번호",
|
|||
|
|
"answer": "사내 포털 로그인 화면의 '비밀번호 찾기'에서 휴대폰 인증 후 새 비밀번호를 설정합니다.",
|
|||
|
|
"error": null
|
|||
|
|
}
|
|||
|
|
✔ normal · 프린터 출력이 안 돼요 · 1.2s
|
|||
|
|
→ request POST /webhook/my-helpdesk
|
|||
|
|
{
|
|||
|
|
"question": "프린터 출력이 안 돼요",
|
|||
|
|
"user": "윤하늘",
|
|||
|
|
"tag": "normal"
|
|||
|
|
}
|
|||
|
|
← response HTTP 200
|
|||
|
|
{
|
|||
|
|
"route": "자동 답변",
|
|||
|
|
"status": "success",
|
|||
|
|
"topic": "프린터",
|
|||
|
|
"answer": "프린터 전원과 네트워크 연결을 확인하고, 인쇄 대기열을 비운 뒤 다시 출력합니다.",
|
|||
|
|
"error": null
|
|||
|
|
}
|
|||
|
|
✔ normal · 메일함 용량이 꽉 찼대 · 1.0s
|
|||
|
|
→ request POST /webhook/my-helpdesk
|
|||
|
|
{
|
|||
|
|
"question": "메일함 용량이 꽉 찼대요",
|
|||
|
|
"user": "강민수",
|
|||
|
|
"tag": "normal"
|
|||
|
|
}
|
|||
|
|
← response HTTP 200
|
|||
|
|
{
|
|||
|
|
"route": "자동 답변",
|
|||
|
|
"status": "success",
|
|||
|
|
"topic": "메일",
|
|||
|
|
"answer": "오래된 메일과 큰 첨부 파일을 보관함으로 옮기거나 삭제해 용량을 확보합니다.",
|
|||
|
|
"error": null
|
|||
|
|
}
|
|||
|
|
✔ normal · 새 프로그램 설치는 어 · 1.1s
|
|||
|
|
→ request POST /webhook/my-helpdesk
|
|||
|
|
{
|
|||
|
|
"question": "새 프로그램 설치는 어떻게 신청하나요?",
|
|||
|
|
"user": "서지아",
|
|||
|
|
"tag": "normal"
|
|||
|
|
}
|
|||
|
|
← response HTTP 200
|
|||
|
|
{
|
|||
|
|
"route": "자동 답변",
|
|||
|
|
"status": "success",
|
|||
|
|
"topic": "설치",
|
|||
|
|
"answer": "새 프로그램 설치는 IT 포털의 '소프트웨어 신청' 메뉴에서 승인 요청을 올리면 승인 후 원격으로 설치됩니다.",
|
|||
|
|
"error": null
|
|||
|
|
}
|
|||
|
|
Passed 10/10
|
|||
|
|
report: runs/replay-normal-20261031-075225.json
|
|||
|
|
|
|||
|
|
$ uv run tools/flow.py test cases/lab03-cost.json -v
|
|||
|
|
POST http://localhost:5678/webhook/my-log-report · 4 case(s) × 1
|
|||
|
|
✔ 고치기 전 · 느린 FAQ · 1초에 끊김 · 0.1s · 0 calls · $0.000000
|
|||
|
|
→ request POST /webhook/my-log-report
|
|||
|
|
{
|
|||
|
|
"tag": "before",
|
|||
|
|
"source": "live"
|
|||
|
|
}
|
|||
|
|
← response HTTP 200
|
|||
|
|
{
|
|||
|
|
"total": 10,
|
|||
|
|
"errors": 10,
|
|||
|
|
"error_rate": 1,
|
|||
|
|
"p50_ms": 1043,
|
|||
|
|
"p95_ms": 1098,
|
|||
|
|
"by_route": {
|
|||
|
|
"오류": 10
|
|||
|
|
},
|
|||
|
|
"by_day": {
|
|||
|
|
"2026-10-31": {
|
|||
|
|
"total": 10,
|
|||
|
|
"errors": 10,
|
|||
|
|
"error_rate": 1
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"by_release": {},
|
|||
|
|
"steps": {
|
|||
|
|
"faq_ms": {
|
|||
|
|
"runs": 10,
|
|||
|
|
"p50": 1043,
|
|||
|
|
"p95": 1098
|
|||
|
|
},
|
|||
|
|
"answer_ms": {
|
|||
|
|
"runs": 0,
|
|||
|
|
"p50": 0,
|
|||
|
|
"p95": 0
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"cost_usd": 0,
|
|||
|
|
"cost_per_run": 0,
|
|||
|
|
"llm_calls": 0,
|
|||
|
|
"failures": [
|
|||
|
|
{
|
|||
|
|
"node": "Search FAQ",
|
|||
|
|
"message": "timeout of 1000ms exceeded",
|
|||
|
|
"count": 10
|
|||
|
|
}
|
|||
|
|
],
|
|||
|
|
"unanswered_topics": [],
|
|||
|
|
"anomalies": [],
|
|||
|
|
"repeat_topics": [],
|
|||
|
|
"unanswered_rate": 0,
|
|||
|
|
"slo": {
|
|||
|
|
"ok": false,
|
|||
|
|
"breaches": [
|
|||
|
|
"error_rate"
|
|||
|
|
],
|
|||
|
|
"limits": {
|
|||
|
|
"error_rate": 0.01,
|
|||
|
|
"p95_ms": 3000,
|
|||
|
|
"unanswered_rate": 0.02
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
✔ 고친 뒤 · 느린 FAQ · 기다려서 답함 · 0.1s · 10 calls · $0.000000
|
|||
|
|
→ request POST /webhook/my-log-report
|
|||
|
|
{
|
|||
|
|
"tag": "after",
|
|||
|
|
"source": "live"
|
|||
|
|
}
|
|||
|
|
← response HTTP 200
|
|||
|
|
{
|
|||
|
|
"total": 10,
|
|||
|
|
"errors": 0,
|
|||
|
|
"error_rate": 0,
|
|||
|
|
"p50_ms": 2342,
|
|||
|
|
"p95_ms": 3560,
|
|||
|
|
"by_route": {
|
|||
|
|
"자동 답변": 10
|
|||
|
|
},
|
|||
|
|
"by_day": {
|
|||
|
|
"2026-10-31": {
|
|||
|
|
"total": 10,
|
|||
|
|
"errors": 0,
|
|||
|
|
"error_rate": 0
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"by_release": {
|
|||
|
|
"1.1.0": {
|
|||
|
|
"answers": 10,
|
|||
|
|
"repeats": 0,
|
|||
|
|
"repeat_rate": 0
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"steps": {
|
|||
|
|
"faq_ms": {
|
|||
|
|
"runs": 10,
|
|||
|
|
"p50": 1238,
|
|||
|
|
"p95": 1278
|
|||
|
|
},
|
|||
|
|
"answer_ms": {
|
|||
|
|
"runs": 10,
|
|||
|
|
"p50": 1103,
|
|||
|
|
"p95": 2282
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"cost_usd": 0,
|
|||
|
|
"cost_per_run": 0,
|
|||
|
|
"llm_calls": 10,
|
|||
|
|
"failures": [],
|
|||
|
|
"unanswered_topics": [],
|
|||
|
|
"anomalies": [],
|
|||
|
|
"repeat_topics": [],
|
|||
|
|
"unanswered_rate": 0,
|
|||
|
|
"slo": {
|
|||
|
|
"ok": false,
|
|||
|
|
"breaches": [
|
|||
|
|
"p95_ms"
|
|||
|
|
],
|
|||
|
|
"limits": {
|
|||
|
|
"error_rate": 0.01,
|
|||
|
|
"p95_ms": 3000,
|
|||
|
|
"unanswered_rate": 0.02
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
✔ 고친 뒤 · 평소 FAQ · 기다릴 일이 없음 · 0.0s · 10 calls · $0.000000
|
|||
|
|
→ request POST /webhook/my-log-report
|
|||
|
|
{
|
|||
|
|
"tag": "normal",
|
|||
|
|
"source": "live"
|
|||
|
|
}
|
|||
|
|
← response HTTP 200
|
|||
|
|
{
|
|||
|
|
"total": 10,
|
|||
|
|
"errors": 0,
|
|||
|
|
"error_rate": 0,
|
|||
|
|
"p50_ms": 1015,
|
|||
|
|
"p95_ms": 2147,
|
|||
|
|
"by_route": {
|
|||
|
|
"자동 답변": 10
|
|||
|
|
},
|
|||
|
|
"by_day": {
|
|||
|
|
"2026-10-31": {
|
|||
|
|
"total": 10,
|
|||
|
|
"errors": 0,
|
|||
|
|
"error_rate": 0
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"by_release": {
|
|||
|
|
"1.1.0": {
|
|||
|
|
"answers": 10,
|
|||
|
|
"repeats": 0,
|
|||
|
|
"repeat_rate": 0
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"steps": {
|
|||
|
|
"faq_ms": {
|
|||
|
|
"runs": 10,
|
|||
|
|
"p50": 17,
|
|||
|
|
"p95": 39
|
|||
|
|
},
|
|||
|
|
"answer_ms": {
|
|||
|
|
"runs": 10,
|
|||
|
|
"p50": 997,
|
|||
|
|
"p95": 2108
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"cost_usd": 0,
|
|||
|
|
"cost_per_run": 0,
|
|||
|
|
"llm_calls": 10,
|
|||
|
|
"failures": [],
|
|||
|
|
"unanswered_topics": [],
|
|||
|
|
"anomalies": [],
|
|||
|
|
"repeat_topics": [],
|
|||
|
|
"unanswered_rate": 0,
|
|||
|
|
"slo": {
|
|||
|
|
"ok": true,
|
|||
|
|
"breaches": [],
|
|||
|
|
"limits": {
|
|||
|
|
"error_rate": 0.01,
|
|||
|
|
"p95_ms": 3000,
|
|||
|
|
"unanswered_rate": 0.02
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
✔ 고친 뒤 · 답 단계는 FAQ 속도와 상관없음 · 0.1s · 10 calls · $0.000000
|
|||
|
|
→ request POST /webhook/my-log-report
|
|||
|
|
{
|
|||
|
|
"tag": "normal",
|
|||
|
|
"source": "live"
|
|||
|
|
}
|
|||
|
|
← response HTTP 200
|
|||
|
|
{
|
|||
|
|
"total": 10,
|
|||
|
|
"errors": 0,
|
|||
|
|
"error_rate": 0,
|
|||
|
|
"p50_ms": 1015,
|
|||
|
|
"p95_ms": 2147,
|
|||
|
|
"by_route": {
|
|||
|
|
"자동 답변": 10
|
|||
|
|
},
|
|||
|
|
"by_day": {
|
|||
|
|
"2026-10-31": {
|
|||
|
|
"total": 10,
|
|||
|
|
"errors": 0,
|
|||
|
|
"error_rate": 0
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"by_release": {
|
|||
|
|
"1.1.0": {
|
|||
|
|
"answers": 10,
|
|||
|
|
"repeats": 0,
|
|||
|
|
"repeat_rate": 0
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"steps": {
|
|||
|
|
"faq_ms": {
|
|||
|
|
"runs": 10,
|
|||
|
|
"p50": 17,
|
|||
|
|
"p95": 39
|
|||
|
|
},
|
|||
|
|
"answer_ms": {
|
|||
|
|
"runs": 10,
|
|||
|
|
"p50": 997,
|
|||
|
|
"p95": 2108
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"cost_usd": 0,
|
|||
|
|
"cost_per_run": 0,
|
|||
|
|
"llm_calls": 10,
|
|||
|
|
"failures": [],
|
|||
|
|
"unanswered_topics": [],
|
|||
|
|
"anomalies": [],
|
|||
|
|
"repeat_topics": [],
|
|||
|
|
"unanswered_rate": 0,
|
|||
|
|
"slo": {
|
|||
|
|
"ok": true,
|
|||
|
|
"breaches": [],
|
|||
|
|
"limits": {
|
|||
|
|
"error_rate": 0.01,
|
|||
|
|
"p95_ms": 3000,
|
|||
|
|
"unanswered_rate": 0.02
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
Passed 4/4
|
|||
|
|
report: runs/lab03-cost-20261031-075226.json
|
|||
|
|
|
|||
|
|
$ uv run tools/flow.py ops
|
|||
|
|
fault switch: all ok
|
|||
|
|
live run logs: 30 (tag before 10 · tag after 10 · tag normal 10)
|
|||
|
|
added FAQ: 1 (FAQ-007)
|
|||
|
|
created tickets: 0
|
|||
|
|
DLQ: 0 (parked 0)
|
|||
|
|
alerts: 0
|