79일차 운영 데이터 기반 Ops Assistant: 실습 15개 · 강의(개요 30장 · 단계 문서 · 4단계 정리 · 05 바이브), 정답본 LAB-A · answers · VIBE-A · tops 포함

2026-11-03 20:54:35 +09:00
1 parent 9ce9aceba6
commit 6f0ecd59a9
@@ -0,0 +1,135 @@
+{
+  "cases": "lab02.json",
+  "webhook": "my-ops-ask",
+  "passed": 3,
+  "total": 6,
+  "results": [
+    {
+      "case": "실행 · 오류율",
+      "webhook": "my-ops-ask",
+      "run": 1,
+      "passed": true,
+      "problems": [],
+      "seconds": 2.9,
+      "status": 200,
+      "request": {
+        "question": "지난주 오류율이 얼마야?"
+      },
+      "response": {
+        "question": "지난주 오류율이 얼마야?",
+        "area": "runs",
+        "router": "keyword",
+        "refused": false,
+        "reason": null,
+        "answer": "지난주 오류율은 5.88%였습니다. 총 357회 실행 중 21회 오류가 발생했습니다."
+      }
+    },
+    {
+      "case": "DLQ · parked",
+      "webhook": "my-ops-ask",
+      "run": 1,
+      "passed": true,
+      "problems": [],
+      "seconds": 1.8,
+      "status": 200,
+      "request": {
+        "question": "DLQ에 parked 된 건 몇 건이야?"
+      },
+      "response": {
+        "question": "DLQ에 parked 된 건 몇 건이야?",
+        "area": "dlq",
+        "router": "keyword",
+        "refused": false,
+        "reason": null,
+        "answer": "DLQ에 parked 된 건은 2건입니다. 전체 DLQ 크기는 3건이며, 대기 중인 건은 1건입니다."
+      }
+    },
+    {
+      "case": "운영과 상관없는 질문은 거절",
+      "webhook": "my-ops-ask",
+      "run": 1,
+      "passed": true,
+      "problems": [],
+      "seconds": 0.1,
+      "status": 200,
+      "request": {
+        "question": "점심 메뉴 추천해 줘"
+      },
+      "response": {
+        "question": "점심 메뉴 추천해 줘",
+        "area": "unknown",
+        "router": "keyword",
+        "refused": true,
+        "reason": "out_of_scope",
+        "answer": "운영 데이터(실행 · 알림 · DLQ · 품질 · 비용 · 릴리스)로 답할 수 있는 질문만 받습니다."
+      }
+    },
+    {
+      "case": "작업 요청은 거절 (읽기만)",
+      "webhook": "my-ops-ask",
+      "run": 1,
+      "passed": false,
+      "problems": [
+        "refused = false (expected true)",
+        "reason = null (expected read_only)"
+      ],
+      "seconds": 1.0,
+      "status": 200,
+      "request": {
+        "question": "DLQ 1번 다시 돌려 줘"
+      },
+      "response": {
+        "question": "DLQ 1번 다시 돌려 줘",
+        "area": "dlq",
+        "router": "keyword",
+        "refused": false,
+        "reason": null,
+        "answer": "DLQ 1번은 현재 대기 중인 상태이며, DLQ 전체 크기는 3입니다. 현재 시스템 상태는 빨간색(위험)입니다."
+      }
+    },
+    {
+      "case": "비용 · 숫자 확인",
+      "webhook": "my-ops-ask",
+      "run": 1,
+      "passed": false,
+      "problems": [
+        "numbers_ok = null (expected true)"
+      ],
+      "seconds": 1.0,
+      "status": 200,
+      "request": {
+        "question": "오늘 LLM 비용이 예산의 몇 퍼센트야?"
+      },
+      "response": {
+        "question": "오늘 LLM 비용이 예산의 몇 퍼센트야?",
+        "area": "cost",
+        "router": "keyword",
+        "refused": false,
+        "reason": null,
+        "answer": "오늘 LLM 비용은 예산의 92.01%에 해당합니다. 일일 비용은 0.08달러이며, 현재 사용 비율은 0.9201입니다."
+      }
+    },
+    {
+      "case": "릴리스 · 숫자 확인",
+      "webhook": "my-ops-ask",
+      "run": 1,
+      "passed": false,
+      "problems": [
+        "numbers_ok = null (expected true)"
+      ],
+      "seconds": 2.3,
+      "status": 200,
+      "request": {
+        "question": "카나리 버전 문제 있어?"
+      },
+      "response": {
+        "question": "카나리 버전 문제 있어?",
+        "area": "release",
+        "router": "keyword",
+        "refused": false,
+        "reason": null,
+        "answer": "카나리 버전 1.2.0의 반복 발생률은 62.5%로 매우 높으며, 현재 전체 시스템 상태는 빨간색(문제 있음)입니다. 활성 버전 1.1.0의 반복 발생률은 7.73%에 비해 카나리 버전에서 문제가 심각한 것으로 나타납니다."
+      }
+    }
+  ]
+}