79일차 운영 데이터 기반 Ops Assistant: 실습 15개 · 강의(개요 30장 · 단계 문서 · 4단계 정리 · 05 바이브), 정답본 LAB-A · answers · VIBE-A · tops 포함

Last3Mon/79/answers/25-lab03-challenge2.json

@@ -0,0 +1,191 @@
+{
+  "cases": "lab03-challenge2.json",
+  "webhook": "my-ops-eval",
+  "passed": 4,
+  "total": 4,
+  "results": [
+    {
+      "case": "기준을 안 주면 0.9",
+      "webhook": "my-ops-eval",
+      "run": 1,
+      "passed": true,
+      "problems": [],
+      "seconds": 3.3,
+      "status": 200,
+      "request": {
+        "cases": [
+          {
+            "question": "알림이 몇 건 와 있어?",
+            "area": "alerts",
+            "numbers": [
+              "6"
+            ]
+          }
+        ]
+      },
+      "response": {
+        "total": 1,
+        "passed": 1,
+        "score": 1,
+        "area_ok": 1,
+        "refused_ok": 1,
+        "number_ok": 1,
+        "grounded": 1,
+        "failed": [],
+        "min_score": 0.9,
+        "gate": "pass"
+      }
+    },
+    {
+      "case": "골든 8 · 기준 0.8 → 통과",
+      "webhook": "my-ops-eval",
+      "run": 1,
+      "passed": true,
+      "problems": [],
+      "seconds": 3.4,
+      "status": 200,
+      "request": {
+        "cases": [
+          {
+            "question": "지난주 오류율이 얼마야?",
+            "area": "runs",
+            "numbers": [
+              "5.88"
+            ]
+          },
+          {
+            "question": "알림이 몇 건 와 있어?",
+            "area": "alerts",
+            "numbers": [
+              "6"
+            ]
+          },
+          {
+            "question": "DLQ에 parked 된 건 몇 건이야?",
+            "area": "dlq",
+            "numbers": [
+              "2"
+            ]
+          },
+          {
+            "question": "FAQ 배치 품질 점수 평균은?",
+            "area": "quality",
+            "numbers": [
+              "0.6583",
+              "65.83",
+              "0.66"
+            ]
+          },
+          {
+            "question": "오늘 LLM 비용이 예산의 몇 퍼센트야?",
+            "area": "cost",
+            "numbers": [
+              "92"
+            ]
+          },
+          {
+            "question": "카나리 버전 문제 있어?",
+            "area": "release",
+            "numbers": [
+              "62.5"
+            ]
+          },
+          {
+            "question": "DLQ 1번 다시 돌려 줘",
+            "area": "action",
+            "refused": true
+          },
+          {
+            "question": "점심 메뉴 추천해 줘",
+            "area": "unknown",
+            "refused": true
+          }
+        ],
+        "min_score": 0.8
+      },
+      "response": {
+        "total": 8,
+        "passed": 8,
+        "score": 1,
+        "area_ok": 8,
+        "refused_ok": 8,
+        "number_ok": 8,
+        "grounded": 8,
+        "failed": [],
+        "min_score": 0.8,
+        "gate": "pass"
+      }
+    },
+    {
+      "case": "틀린 기대 · 기준 0.9 → 실패",
+      "webhook": "my-ops-eval",
+      "run": 1,
+      "passed": true,
+      "problems": [],
+      "seconds": 1.2,
+      "status": 200,
+      "request": {
+        "cases": [
+          {
+            "question": "알림이 몇 건 와 있어?",
+            "area": "cost",
+            "numbers": [
+              "6"
+            ]
+          }
+        ],
+        "min_score": 0.9
+      },
+      "response": {
+        "total": 1,
+        "passed": 0,
+        "score": 0,
+        "area_ok": 0,
+        "refused_ok": 1,
+        "number_ok": 1,
+        "grounded": 1,
+        "failed": [
+          {
+            "question": "알림이 몇 건 와 있어?",
+            "area": "alerts",
+            "ok": false,
+            "area_ok": false,
+            "refused_ok": true,
+            "number_ok": true,
+            "grounded": true,
+            "answer": "알림은 총 6건이 와 있으며, 이 중 3건은 높은 심각도입니다. 알림 사유로는 타임아웃 1건, 속도 제한 1건, 배치 거부 1건, 저품질 2건, API 오류 1건이 있습니다."
+          }
+        ],
+        "min_score": 0.9,
+        "gate": "fail"
+      }
+    },
+    {
+      "case": "실패하면 알림 한 건",
+      "webhook": "http://localhost:8800/alerts/list",
+      "run": 1,
+      "passed": true,
+      "problems": [],
+      "seconds": 0.0,
+      "status": 200,
+      "request": {
+        "reason": "eval_below"
+      },
+      "response": {
+        "count": 1,
+        "alerts": [
+          {
+            "workflow": "ops-eval",
+            "node": "Below?",
+            "severity": "medium",
+            "reason": "eval_below",
+            "score": 0,
+            "min_score": 0.9,
+            "message": "ops assistant eval 0 < 0.9",
+            "at": 1793527072.438837
+          }
+        ]
+      }
+    }
+  ]
+}