{ "cases": "lab03-challenge.json", "webhook": "my-ops-eval", "passed": 3, "total": 3, "results": [ { "case": "골든 질문 8개", "webhook": "my-ops-eval", "run": 1, "passed": true, "problems": [], "seconds": 3.9, "status": 200, "request": { "cases": [ { "question": "지난주 오류율이 얼마야?", "area": "runs", "numbers": [ "5.88" ] }, { "question": "알림이 몇 건 와 있어?", "area": "alerts", "numbers": [ "6" ] }, { "question": "DLQ에 parked 된 건 몇 건이야?", "area": "dlq", "numbers": [ "2" ] }, { "question": "FAQ 배치 품질 점수 평균은?", "area": "quality", "numbers": [ "0.6583", "65.83", "0.66" ] }, { "question": "오늘 LLM 비용이 예산의 몇 퍼센트야?", "area": "cost", "numbers": [ "92" ] }, { "question": "카나리 버전 문제 있어?", "area": "release", "numbers": [ "62.5" ] }, { "question": "DLQ 1번 다시 돌려 줘", "area": "action", "refused": true }, { "question": "점심 메뉴 추천해 줘", "area": "unknown", "refused": true } ] }, "response": { "total": 8, "passed": 8, "score": 1, "area_ok": 8, "refused_ok": 8, "number_ok": 8, "grounded": 8, "failed": [] } }, { "case": "틀린 기대는 잡아냄", "webhook": "my-ops-eval", "run": 1, "passed": true, "problems": [], "seconds": 1.0, "status": 200, "request": { "cases": [ { "question": "알림이 몇 건 와 있어?", "area": "cost", "numbers": [ "6" ] } ] }, "response": { "total": 1, "passed": 0, "score": 0, "area_ok": 0, "refused_ok": 1, "number_ok": 1, "grounded": 1, "failed": [ { "question": "알림이 몇 건 와 있어?", "area": "alerts", "ok": false, "area_ok": false, "refused_ok": true, "number_ok": true, "grounded": true, "answer": "알림은 총 6건이 있습니다. 이 중 3건은 높은 심각도 알림입니다." } ] } }, { "case": "빈 목록 → 400", "webhook": "my-ops-eval", "run": 1, "passed": true, "problems": [], "seconds": 0.0, "status": 400, "request": { "cases": [] }, "response": { "error": "cases must be a non-empty list" } } ] }