24 lines
1.6 KiB
Plaintext
24 lines
1.6 KiB
Plaintext
 
|
$ uv run tools/flow.py test cases/lab02.json
|
|||
|
|
✔ before: POST http://localhost:8800/releases/helpdesk/reset · HTTP 200 · 0.0s · {"name": "helpdesk", "active": "1.0.0", "canary": null, "require_gate": false, "releases": {"1.0.0": {"prompt_version":
|
|||
|
|
POST http://localhost:5678/webhook/my-helpdesk · 5 case(s) × 1
|
|||
|
|
✔ 운영 중인 릴리스 (active) · 1.3s
|
|||
|
|
✔ 후보 시험 · 1.1.0 고정 · 1.1s
|
|||
|
|
✔ 후보 시험 · 2.0.0 (작은 모델) · 1.2s
|
|||
|
|
✔ 없는 릴리스 · 0.1s
|
|||
|
|
✔ 빈 질문 · 0.1s
|
|||
|
|
Passed 5/5
|
|||
|
|
report: runs/lab02-20261027-184144.json
|
|||
|
|
|
|||
|
|
$ uv run tools/flow.py test cases/lab01-challenge2.json
|
|||
|
|
POST http://localhost:5678/webhook/my-helpdesk · 4 case(s) × 1
|
|||
|
|
✔ 평소 · 저장소에서 · 1.2s
|
|||
|
|
✔ before: POST http://localhost:8800/admin/fault · HTTP 200 · 0.0s · {"faq": "ok", "tickets": "ok", "prompts": "error", "slow_seconds": 8.0}
|
|||
|
|
✔ 저장소 고장 · 기본 지시문으로 답 · 1.2s
|
|||
|
|
✔ after: POST http://localhost:8800/admin/fault · HTTP 200 · 0.0s · {"faq": "ok", "tickets": "ok", "prompts": "ok", "slow_seconds": 8.0}
|
|||
|
|
✔ before: POST http://localhost:8800/admin/fault · HTTP 200 · 0.0s · {"faq": "ok", "tickets": "ok", "prompts": "slow", "slow_seconds": 8.0}
|
|||
|
|
✔ 저장소 느림 · 오래 기다리지 않음 · 3.0s
|
|||
|
|
✔ after: POST http://localhost:8800/admin/fault · HTTP 200 · 0.0s · {"faq": "ok", "tickets": "ok", "prompts": "ok", "slow_seconds": 8.0}
|
|||
|
|
✔ 되돌린 뒤 · 다시 저장소에서 · 1.0s
|
|||
|
|
Passed 4/4
|
|||
|
|
report: runs/lab01-challenge2-20261027-184150.json
|
|||
|
|
✔ after: POST http://localhost:8800/admin/fault · HTTP 200 · 0.0s · {"faq": "ok", "tickets": "ok", "prompts": "ok", "slow_seconds": 8.0}
|