134 lines
3.7 KiB
JSON
134 lines
3.7 KiB
JSON
{
|
|
"cases": "lab02-challenge2.json",
|
|
"webhook": "my-ops-ask",
|
|
"passed": 5,
|
|
"total": 5,
|
|
"results": [
|
|
{
|
|
"case": "작업 요청",
|
|
"webhook": "my-ops-ask",
|
|
"run": 1,
|
|
"passed": true,
|
|
"problems": [],
|
|
"seconds": 1.0,
|
|
"status": 200,
|
|
"request": {
|
|
"question": "DLQ 1번 다시 돌려 줘"
|
|
},
|
|
"response": {
|
|
"question": "DLQ 1번 다시 돌려 줘",
|
|
"area": "action",
|
|
"router": "keyword",
|
|
"refused": true,
|
|
"reason": "read_only",
|
|
"answer": "운영 도우미는 읽기만 합니다. 재처리 · 삭제 · 배포 같은 작업은 런북에 따라 담당자가 직접 해 주세요."
|
|
}
|
|
},
|
|
{
|
|
"case": "운영 밖",
|
|
"webhook": "my-ops-ask",
|
|
"run": 1,
|
|
"passed": true,
|
|
"problems": [],
|
|
"seconds": 1.6,
|
|
"status": 200,
|
|
"request": {
|
|
"question": "점심 메뉴 추천해 줘"
|
|
},
|
|
"response": {
|
|
"question": "점심 메뉴 추천해 줘",
|
|
"area": "unknown",
|
|
"router": "llm",
|
|
"refused": true,
|
|
"reason": "out_of_scope",
|
|
"answer": "운영 데이터(실행 · 알림 · DLQ · 품질 · 비용 · 릴리스)로 답할 수 있는 질문만 받습니다."
|
|
}
|
|
},
|
|
{
|
|
"case": "답한 질문",
|
|
"webhook": "my-ops-ask",
|
|
"run": 1,
|
|
"passed": true,
|
|
"problems": [],
|
|
"seconds": 1.1,
|
|
"status": 200,
|
|
"request": {
|
|
"question": "지난주 오류율이 얼마야?"
|
|
},
|
|
"response": {
|
|
"question": "지난주 오류율이 얼마야?",
|
|
"area": "runs",
|
|
"router": "keyword",
|
|
"refused": false,
|
|
"reason": null,
|
|
"answer": "지난주 오류율은 5.88%였습니다. 총 357회 실행 중 21회 오류가 발생했습니다.",
|
|
"numbers_ok": true,
|
|
"unknown_numbers": []
|
|
}
|
|
},
|
|
{
|
|
"case": "감사 기록 세 줄 · 거절 이유와 함께",
|
|
"webhook": "http://localhost:8800/audit/list",
|
|
"run": 1,
|
|
"passed": true,
|
|
"problems": [],
|
|
"seconds": 0.0,
|
|
"status": 200,
|
|
"request": {},
|
|
"response": {
|
|
"events": [
|
|
{
|
|
"t": 1793526843.503,
|
|
"kind": "ops-ask",
|
|
"question": "DLQ 1번 다시 돌려 줘",
|
|
"area": "action",
|
|
"router": "keyword",
|
|
"refused": true,
|
|
"reason": "read_only",
|
|
"numbers_ok": null
|
|
},
|
|
{
|
|
"t": 1793526845.149,
|
|
"kind": "ops-ask",
|
|
"question": "점심 메뉴 추천해 줘",
|
|
"area": "unknown",
|
|
"router": "llm",
|
|
"refused": true,
|
|
"reason": "out_of_scope",
|
|
"numbers_ok": null
|
|
},
|
|
{
|
|
"t": 1793526846.297,
|
|
"kind": "ops-ask",
|
|
"question": "지난주 오류율이 얼마야?",
|
|
"area": "runs",
|
|
"router": "keyword",
|
|
"refused": false,
|
|
"reason": null,
|
|
"numbers_ok": true
|
|
}
|
|
]
|
|
}
|
|
},
|
|
{
|
|
"case": "응답은 그대로 (감사는 곁가지)",
|
|
"webhook": "my-ops-ask",
|
|
"run": 1,
|
|
"passed": true,
|
|
"problems": [],
|
|
"seconds": 0.1,
|
|
"status": 200,
|
|
"request": {
|
|
"question": "DLQ 1번 다시 돌려 줘"
|
|
},
|
|
"response": {
|
|
"question": "DLQ 1번 다시 돌려 줘",
|
|
"area": "action",
|
|
"router": "keyword",
|
|
"refused": true,
|
|
"reason": "read_only",
|
|
"answer": "운영 도우미는 읽기만 합니다. 재처리 · 삭제 · 배포 같은 작업은 런북에 따라 담당자가 직접 해 주세요."
|
|
}
|
|
}
|
|
]
|
|
} |