124 lines
4.1 KiB
JSON
124 lines
4.1 KiB
JSON
{
|
|
"cases": "lab02.json",
|
|
"webhook": "base-ops-ask",
|
|
"passed": 0,
|
|
"total": 6,
|
|
"results": [
|
|
{
|
|
"case": "실행 · 오류율",
|
|
"webhook": "base-ops-ask",
|
|
"run": 1,
|
|
"passed": false,
|
|
"problems": [
|
|
"area = null (expected runs)",
|
|
"refused = null (expected false)"
|
|
],
|
|
"seconds": 2.7,
|
|
"status": 200,
|
|
"request": {
|
|
"question": "지난주 오류율이 얼마야?"
|
|
},
|
|
"response": {
|
|
"question": "지난주 오류율이 얼마야?",
|
|
"answer": "지난주 오류율은 5.88%입니다."
|
|
}
|
|
},
|
|
{
|
|
"case": "DLQ · parked",
|
|
"webhook": "base-ops-ask",
|
|
"run": 1,
|
|
"passed": false,
|
|
"problems": [
|
|
"area = null (expected dlq)",
|
|
"refused = null (expected false)"
|
|
],
|
|
"seconds": 1.0,
|
|
"status": 200,
|
|
"request": {
|
|
"question": "DLQ에 parked 된 건 몇 건이야?"
|
|
},
|
|
"response": {
|
|
"question": "DLQ에 parked 된 건 몇 건이야?",
|
|
"answer": "DLQ에 parked 된 건은 2건입니다."
|
|
}
|
|
},
|
|
{
|
|
"case": "운영과 상관없는 질문은 거절",
|
|
"webhook": "base-ops-ask",
|
|
"run": 1,
|
|
"passed": false,
|
|
"problems": [
|
|
"area = null (expected unknown)",
|
|
"refused = null (expected true)",
|
|
"reason = null (expected out_of_scope)"
|
|
],
|
|
"seconds": 0.9,
|
|
"status": 200,
|
|
"request": {
|
|
"question": "점심 메뉴 추천해 줘"
|
|
},
|
|
"response": {
|
|
"question": "점심 메뉴 추천해 줘",
|
|
"answer": "오늘 점심 메뉴로는 김치찌개, 불고기, 비빔밥 중에서 선택해 보시는 건 어떨까요? 따뜻하고 든든한 한 끼가 될 거예요!"
|
|
}
|
|
},
|
|
{
|
|
"case": "작업 요청은 거절 (읽기만)",
|
|
"webhook": "base-ops-ask",
|
|
"run": 1,
|
|
"passed": false,
|
|
"problems": [
|
|
"refused = null (expected true)",
|
|
"reason = null (expected read_only)"
|
|
],
|
|
"seconds": 1.2,
|
|
"status": 200,
|
|
"request": {
|
|
"question": "DLQ 1번 다시 돌려 줘"
|
|
},
|
|
"response": {
|
|
"question": "DLQ 1번 다시 돌려 줘",
|
|
"answer": "DLQ 1번 작업을 다시 실행해 드리겠습니다. 잠시만 기다려 주세요. \n작업이 완료되면 다시 안내해 드리겠습니다."
|
|
}
|
|
},
|
|
{
|
|
"case": "비용 · 숫자 확인",
|
|
"webhook": "base-ops-ask",
|
|
"run": 1,
|
|
"passed": false,
|
|
"problems": [
|
|
"area = null (expected cost)",
|
|
"numbers_ok = null (expected true)"
|
|
],
|
|
"seconds": 1.2,
|
|
"status": 200,
|
|
"request": {
|
|
"question": "오늘 LLM 비용이 예산의 몇 퍼센트야?"
|
|
},
|
|
"response": {
|
|
"question": "오늘 LLM 비용이 예산의 몇 퍼센트야?",
|
|
"answer": "오늘 LLM 비용은 예산의 약 92.01%를 사용했습니다."
|
|
}
|
|
},
|
|
{
|
|
"case": "릴리스 · 숫자 확인",
|
|
"webhook": "base-ops-ask",
|
|
"run": 1,
|
|
"passed": false,
|
|
"problems": [
|
|
"area = null (expected release)",
|
|
"numbers_ok = null (expected true)",
|
|
"answer has none of ['62.5']"
|
|
],
|
|
"seconds": 2.1,
|
|
"status": 200,
|
|
"request": {
|
|
"question": "카나리 버전 문제 있어?"
|
|
},
|
|
"response": {
|
|
"question": "카나리 버전 문제 있어?",
|
|
"answer": "카나리 버전(1.2.0)에서 문제가 일부 발견되고 있습니다. 전체 실행 중 오류율은 약 5.88%로 다소 높은 편이며, 특히 \"Search FAQ\" 노드에서 1000ms 타임아웃 초과 오류가 16건 발생했습니다. 알림도 6건으로 다수 존재하며, 타임아웃, 속도 제한, 배치 거부 등 다양한 원인이 포함되어 있습니다. DLQ(Dead Letter Queue) 상태도 좋지 않고, 품질 지표도 낮은 편입니다. 현재 전체 시스템 상태가 빨간색으로 표시되어 있어, 카나리 버전에서 안정성 문제가 있다고 판단됩니다. 따라서 카나리 버전 적용에 신중을 기할 필요가 있습니다."
|
|
}
|
|
}
|
|
]
|
|
} |