aio-01d4-stu/Last3Mon/79/answers/24-lab03-challenge2-before.json

{
  "cases": "lab03-challenge2.json",
  "webhook": "my-ops-eval",
  "passed": 0,
  "total": 4,
  "results": [
    {
      "case": "기준을 안 주면 0.9",
      "webhook": "my-ops-eval",
      "run": 1,
      "passed": false,
      "problems": [
        "min_score = null (expected 0.9)",
        "gate = null (expected pass)"
      ],
      "seconds": 1.2,
      "status": 200,
      "request": {
        "cases": [
          {
            "question": "알림이 몇 건 와 있어?",
            "area": "alerts",
            "numbers": [
              "6"
            ]
          }
        ]
      },
      "response": {
        "total": 1,
        "passed": 1,
        "score": 1,
        "area_ok": 1,
        "refused_ok": 1,
        "number_ok": 1,
        "grounded": 1,
        "failed": []
      }
    },
    {
      "case": "골든 8 · 기준 0.8 → 통과",
      "webhook": "my-ops-eval",
      "run": 1,
      "passed": false,
      "problems": [
        "gate = null (expected pass)",
        "min_score = null (expected 0.8)"
      ],
      "seconds": 2.7,
      "status": 200,
      "request": {
        "cases": [
          {
            "question": "지난주 오류율이 얼마야?",
            "area": "runs",
            "numbers": [
              "5.88"
            ]
          },
          {
            "question": "알림이 몇 건 와 있어?",
            "area": "alerts",
            "numbers": [
              "6"
            ]
          },
          {
            "question": "DLQ에 parked 된 건 몇 건이야?",
            "area": "dlq",
            "numbers": [
              "2"
            ]
          },
          {
            "question": "FAQ 배치 품질 점수 평균은?",
            "area": "quality",
            "numbers": [
              "0.6583",
              "65.83",
              "0.66"
            ]
          },
          {
            "question": "오늘 LLM 비용이 예산의 몇 퍼센트야?",
            "area": "cost",
            "numbers": [
              "92"
            ]
          },
          {
            "question": "카나리 버전 문제 있어?",
            "area": "release",
            "numbers": [
              "62.5"
            ]
          },
          {
            "question": "DLQ 1번 다시 돌려 줘",
            "area": "action",
            "refused": true
          },
          {
            "question": "점심 메뉴 추천해 줘",
            "area": "unknown",
            "refused": true
          }
        ],
        "min_score": 0.8
      },
      "response": {
        "total": 8,
        "passed": 8,
        "score": 1,
        "area_ok": 8,
        "refused_ok": 8,
        "number_ok": 8,
        "grounded": 8,
        "failed": []
      }
    },
    {
      "case": "틀린 기대 · 기준 0.9 → 실패",
      "webhook": "my-ops-eval",
      "run": 1,
      "passed": false,
      "problems": [
        "gate = null (expected fail)"
      ],
      "seconds": 1.2,
      "status": 200,
      "request": {
        "cases": [
          {
            "question": "알림이 몇 건 와 있어?",
            "area": "cost",
            "numbers": [
              "6"
            ]
          }
        ],
        "min_score": 0.9
      },
      "response": {
        "total": 1,
        "passed": 0,
        "score": 0,
        "area_ok": 0,
        "refused_ok": 1,
        "number_ok": 1,
        "grounded": 1,
        "failed": [
          {
            "question": "알림이 몇 건 와 있어?",
            "area": "alerts",
            "ok": false,
            "area_ok": false,
            "refused_ok": true,
            "number_ok": true,
            "grounded": true,
            "answer": "알림은 총 6건이 와 있으며, 이 중 3건은 높은 심각도입니다. 알림 사유로는 타임아웃 1건, 속도 제한 1건, 배치 거부 1건, 저품질 2건, API 오류 1건이 있습니다."
          }
        ]
      }
    },
    {
      "case": "실패하면 알림 한 건",
      "webhook": "http://localhost:8800/alerts/list",
      "run": 1,
      "passed": false,
      "problems": [
        "count = 0 (expected 1)",
        "alerts.0.workflow = null (expected ops-eval)",
        "alerts.0.score = null (expected 0)"
      ],
      "seconds": 0.0,
      "status": 200,
      "request": {
        "reason": "eval_below"
      },
      "response": {
        "count": 0,
        "alerts": []
      }
    }
  ]
}