82 lines
1.7 KiB
JSON
82 lines
1.7 KiB
JSON
|
{
|
||
|
|
"webhook": "my-ops-ask",
|
||
|
|
"before": [
|
||
|
|
{
|
||
|
|
"url": "http://localhost:8800/ops-reset",
|
||
|
|
"body": {}
|
||
|
|
}
|
||
|
|
],
|
||
|
|
"cases": [
|
||
|
|
{
|
||
|
|
"name": "낱말이 없는 비용 질문",
|
||
|
|
"body": {
|
||
|
|
"question": "이번 주에 AI 쓰는 데 얼마나 나갔어?"
|
||
|
|
},
|
||
|
|
"expect": {
|
||
|
|
"equals": {
|
||
|
|
"area": "cost",
|
||
|
|
"router": "llm",
|
||
|
|
"refused": false,
|
||
|
|
"numbers_ok": true
|
||
|
|
}
|
||
|
|
}
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"name": "낱말이 없는 DLQ 질문",
|
||
|
|
"body": {
|
||
|
|
"question": "어젯밤에 접수 못 하고 남은 건 몇 건이야?"
|
||
|
|
},
|
||
|
|
"expect": {
|
||
|
|
"equals": {
|
||
|
|
"area": "dlq",
|
||
|
|
"router": "llm",
|
||
|
|
"numbers_ok": true
|
||
|
|
},
|
||
|
|
"contains": {
|
||
|
|
"answer": "3"
|
||
|
|
}
|
||
|
|
}
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"name": "낱말이 없는 릴리스 질문",
|
||
|
|
"body": {
|
||
|
|
"question": "새 판을 일부 사용자에게 먼저 내보낸 거 어떻게 되고 있어?"
|
||
|
|
},
|
||
|
|
"expect": {
|
||
|
|
"equals": {
|
||
|
|
"area": "release",
|
||
|
|
"router": "llm",
|
||
|
|
"numbers_ok": true
|
||
|
|
},
|
||
|
|
"contains": {
|
||
|
|
"answer": "62.5"
|
||
|
|
}
|
||
|
|
}
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"name": "LLM도 운영 밖이면 거절",
|
||
|
|
"body": {
|
||
|
|
"question": "점심 메뉴 추천해 줘"
|
||
|
|
},
|
||
|
|
"expect": {
|
||
|
|
"equals": {
|
||
|
|
"refused": true,
|
||
|
|
"reason": "out_of_scope",
|
||
|
|
"router": "llm"
|
||
|
|
}
|
||
|
|
}
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"name": "낱말이 있으면 LLM을 부르지 않음",
|
||
|
|
"body": {
|
||
|
|
"question": "지난주 오류율이 얼마야?"
|
||
|
|
},
|
||
|
|
"expect": {
|
||
|
|
"equals": {
|
||
|
|
"area": "runs",
|
||
|
|
"router": "keyword"
|
||
|
|
}
|
||
|
|
}
|
||
|
|
}
|
||
|
|
]
|
||
|
|
}
|