186 lines
4.4 KiB
JSON
186 lines
4.4 KiB
JSON
{
|
|
"cases": "lab03-challenge2.json",
|
|
"webhook": "my-ops-eval",
|
|
"passed": 0,
|
|
"total": 4,
|
|
"results": [
|
|
{
|
|
"case": "기준을 안 주면 0.9",
|
|
"webhook": "my-ops-eval",
|
|
"run": 1,
|
|
"passed": false,
|
|
"problems": [
|
|
"min_score = null (expected 0.9)",
|
|
"gate = null (expected pass)"
|
|
],
|
|
"seconds": 1.2,
|
|
"status": 200,
|
|
"request": {
|
|
"cases": [
|
|
{
|
|
"question": "알림이 몇 건 와 있어?",
|
|
"area": "alerts",
|
|
"numbers": [
|
|
"6"
|
|
]
|
|
}
|
|
]
|
|
},
|
|
"response": {
|
|
"total": 1,
|
|
"passed": 1,
|
|
"score": 1,
|
|
"area_ok": 1,
|
|
"refused_ok": 1,
|
|
"number_ok": 1,
|
|
"grounded": 1,
|
|
"failed": []
|
|
}
|
|
},
|
|
{
|
|
"case": "골든 8 · 기준 0.8 → 통과",
|
|
"webhook": "my-ops-eval",
|
|
"run": 1,
|
|
"passed": false,
|
|
"problems": [
|
|
"gate = null (expected pass)",
|
|
"min_score = null (expected 0.8)"
|
|
],
|
|
"seconds": 2.7,
|
|
"status": 200,
|
|
"request": {
|
|
"cases": [
|
|
{
|
|
"question": "지난주 오류율이 얼마야?",
|
|
"area": "runs",
|
|
"numbers": [
|
|
"5.88"
|
|
]
|
|
},
|
|
{
|
|
"question": "알림이 몇 건 와 있어?",
|
|
"area": "alerts",
|
|
"numbers": [
|
|
"6"
|
|
]
|
|
},
|
|
{
|
|
"question": "DLQ에 parked 된 건 몇 건이야?",
|
|
"area": "dlq",
|
|
"numbers": [
|
|
"2"
|
|
]
|
|
},
|
|
{
|
|
"question": "FAQ 배치 품질 점수 평균은?",
|
|
"area": "quality",
|
|
"numbers": [
|
|
"0.6583",
|
|
"65.83",
|
|
"0.66"
|
|
]
|
|
},
|
|
{
|
|
"question": "오늘 LLM 비용이 예산의 몇 퍼센트야?",
|
|
"area": "cost",
|
|
"numbers": [
|
|
"92"
|
|
]
|
|
},
|
|
{
|
|
"question": "카나리 버전 문제 있어?",
|
|
"area": "release",
|
|
"numbers": [
|
|
"62.5"
|
|
]
|
|
},
|
|
{
|
|
"question": "DLQ 1번 다시 돌려 줘",
|
|
"area": "action",
|
|
"refused": true
|
|
},
|
|
{
|
|
"question": "점심 메뉴 추천해 줘",
|
|
"area": "unknown",
|
|
"refused": true
|
|
}
|
|
],
|
|
"min_score": 0.8
|
|
},
|
|
"response": {
|
|
"total": 8,
|
|
"passed": 8,
|
|
"score": 1,
|
|
"area_ok": 8,
|
|
"refused_ok": 8,
|
|
"number_ok": 8,
|
|
"grounded": 8,
|
|
"failed": []
|
|
}
|
|
},
|
|
{
|
|
"case": "틀린 기대 · 기준 0.9 → 실패",
|
|
"webhook": "my-ops-eval",
|
|
"run": 1,
|
|
"passed": false,
|
|
"problems": [
|
|
"gate = null (expected fail)"
|
|
],
|
|
"seconds": 1.2,
|
|
"status": 200,
|
|
"request": {
|
|
"cases": [
|
|
{
|
|
"question": "알림이 몇 건 와 있어?",
|
|
"area": "cost",
|
|
"numbers": [
|
|
"6"
|
|
]
|
|
}
|
|
],
|
|
"min_score": 0.9
|
|
},
|
|
"response": {
|
|
"total": 1,
|
|
"passed": 0,
|
|
"score": 0,
|
|
"area_ok": 0,
|
|
"refused_ok": 1,
|
|
"number_ok": 1,
|
|
"grounded": 1,
|
|
"failed": [
|
|
{
|
|
"question": "알림이 몇 건 와 있어?",
|
|
"area": "alerts",
|
|
"ok": false,
|
|
"area_ok": false,
|
|
"refused_ok": true,
|
|
"number_ok": true,
|
|
"grounded": true,
|
|
"answer": "알림은 총 6건이 와 있으며, 이 중 3건은 높은 심각도입니다. 알림 사유로는 타임아웃 1건, 속도 제한 1건, 배치 거부 1건, 저품질 2건, API 오류 1건이 있습니다."
|
|
}
|
|
]
|
|
}
|
|
},
|
|
{
|
|
"case": "실패하면 알림 한 건",
|
|
"webhook": "http://localhost:8800/alerts/list",
|
|
"run": 1,
|
|
"passed": false,
|
|
"problems": [
|
|
"count = 0 (expected 1)",
|
|
"alerts.0.workflow = null (expected ops-eval)",
|
|
"alerts.0.score = null (expected 0)"
|
|
],
|
|
"seconds": 0.0,
|
|
"status": 200,
|
|
"request": {
|
|
"reason": "eval_below"
|
|
},
|
|
"response": {
|
|
"count": 0,
|
|
"alerts": []
|
|
}
|
|
}
|
|
]
|
|
} |