149 lines
6.0 KiB
JSON
149 lines
6.0 KiB
JSON
{
|
|
"cases": "lab02.json",
|
|
"webhook": "my-supervisor",
|
|
"passed": 1,
|
|
"total": 6,
|
|
"results": [
|
|
{
|
|
"case": "복합 요청 · 3개 모두 답",
|
|
"webhook": "my-supervisor",
|
|
"run": 1,
|
|
"passed": false,
|
|
"problems": [
|
|
"count = null (expected 3)",
|
|
"results.0.route = null (expected 자동 답변)",
|
|
"results.1.agent = null (expected meeting-agent)",
|
|
"results.0.answer has none of ['처리 중']",
|
|
"results.1.answer has none of ['이준호']",
|
|
"results.2.answer has none of ['대기열', '전원']"
|
|
],
|
|
"seconds": 10.9,
|
|
"status": 200,
|
|
"request": {
|
|
"message": "T-1002 처리 상태 알려주고, 첨부한 회의록에서 할 일도 정리해줘. 그리고 프린터 출력이 안 돼요.",
|
|
"user": "박서연",
|
|
"title": "10월 16일 주간 회의",
|
|
"notes": "참석: 김민지, 이준호, 박서연. 1) 신규 고객 문의 응답 템플릿을 이준호가 금요일까지 정리한다. 2) 박서연은 다음 주 월요일까지 VPN 장애 보고서를 작성한다. 3) 서버 점검 일정은 김민지가 오늘 중 공지한다. 4) 회의실 예약 규칙 개선은 담당자를 다음 회의에서 정한다. 다음 회의는 10월 23일."
|
|
},
|
|
"response": {
|
|
"reply": "T-1002 티켓은 현재 \"처리 중\" 상태이며, VPN 인증서 발급 승인 대기 중입니다. 10월 20일에 완료될 예정입니다. \n\n첨부한 10월 16일 주간 회의록에서 할 일은 다음과 같습니다. 이준호는 신규 고객 문의 응답 템플릿 정리를 금요일까지, 박서연은 VPN 장애 보고서 작성을 다음 주 월요일까지, 김민지는 서버 점검 일정 공지를 오늘까지, 미정은 회의실 예약 규칙 개선 담당자 선정을 10월 23일까지 완료해야 합니다.\n\n프린터 출력 문제는 프린터 전원과 네트워크 연결을 확인하고, 인쇄 대기열을 비운 뒤 다시 출력해 보시기 바랍니다.",
|
|
"agents_used": [
|
|
"it-agent",
|
|
"meeting-agent"
|
|
],
|
|
"calls": 3
|
|
}
|
|
},
|
|
{
|
|
"case": "IT 하나",
|
|
"webhook": "my-supervisor",
|
|
"run": 1,
|
|
"passed": false,
|
|
"problems": [
|
|
"count = null (expected 1)",
|
|
"results.0.agent = null (expected it-agent)"
|
|
],
|
|
"seconds": 4.5,
|
|
"status": 200,
|
|
"request": {
|
|
"message": "VPN이 계속 끊겨요. 어떻게 해야 하나요?",
|
|
"user": "이준호"
|
|
},
|
|
"response": {
|
|
"reply": "VPN이 계속 끊길 경우, VPN 클라이언트를 최신 버전으로 업데이트하고 인증서 만료 여부를 확인한 뒤 다시 접속해 보시기 바랍니다.",
|
|
"agents_used": [
|
|
"it-agent"
|
|
],
|
|
"calls": 1
|
|
}
|
|
},
|
|
{
|
|
"case": "회의록 정리",
|
|
"webhook": "my-supervisor",
|
|
"run": 1,
|
|
"passed": false,
|
|
"problems": [
|
|
"count = null (expected 1)",
|
|
"results.0.agent = null (expected meeting-agent)",
|
|
"results.0.actions has none of ['이준호']"
|
|
],
|
|
"seconds": 4.7,
|
|
"status": 200,
|
|
"request": {
|
|
"message": "이번 회의록 할 일 정리 부탁해요",
|
|
"user": "김민지",
|
|
"title": "10월 16일 주간 회의",
|
|
"notes": "참석: 김민지, 이준호, 박서연. 1) 신규 고객 문의 응답 템플릿을 이준호가 금요일까지 정리한다. 2) 박서연은 다음 주 월요일까지 VPN 장애 보고서를 작성한다. 3) 서버 점검 일정은 김민지가 오늘 중 공지한다. 4) 회의실 예약 규칙 개선은 담당자를 다음 회의에서 정한다. 다음 회의는 10월 23일."
|
|
},
|
|
"response": {
|
|
"reply": "10월 16일 주간 회의에서 정리된 할 일은 다음과 같습니다. 이준호 님은 금요일까지 신규 고객 문의 응답 템플릿을 정리하고, 박서연 님은 다음 주 월요일까지 VPN 장애 보고서를 작성해야 합니다. 김민지 님은 오늘까지 서버 점검 일정을 공지하며, 미정 님은 10월 23일까지 회의실 예약 규칙 개선 담당자를 선정하는 업무를 맡았습니다.",
|
|
"agents_used": [
|
|
"meeting-agent"
|
|
],
|
|
"calls": 1
|
|
}
|
|
},
|
|
{
|
|
"case": "IT와 기타",
|
|
"webhook": "my-supervisor",
|
|
"run": 1,
|
|
"passed": false,
|
|
"problems": [
|
|
"count = null (expected 2)",
|
|
"results.1.route = null (expected 담당자 연결)",
|
|
"results.0.answer has none of ['대기열', '전원']"
|
|
],
|
|
"seconds": 5.4,
|
|
"status": 200,
|
|
"request": {
|
|
"message": "프린터 출력이 안 돼요. 그리고 다음 주 회식 장소도 추천해 주세요.",
|
|
"user": "최유진"
|
|
},
|
|
"response": {
|
|
"reply": "프린터 출력 문제는 프린터 전원과 네트워크 연결을 확인하고, 인쇄 대기열을 비운 뒤 다시 출력해 보시기 바랍니다. 그 요청은 담당자에게 전달했습니다.",
|
|
"agents_used": [
|
|
"it-agent"
|
|
],
|
|
"calls": 1
|
|
}
|
|
},
|
|
{
|
|
"case": "기타만 · Agent 안 부름",
|
|
"webhook": "my-supervisor",
|
|
"run": 1,
|
|
"passed": false,
|
|
"problems": [
|
|
"count = null (expected 1)",
|
|
"results.0.route = null (expected 담당자 연결)",
|
|
"results.0.agent = null (expected 담당자 연결)"
|
|
],
|
|
"seconds": 1.1,
|
|
"status": 200,
|
|
"request": {
|
|
"message": "다음 주 회식 장소 추천해 주세요",
|
|
"user": "최유진"
|
|
},
|
|
"response": {
|
|
"reply": "그 요청은 담당자에게 전달했습니다.",
|
|
"agents_used": [],
|
|
"calls": 0
|
|
}
|
|
},
|
|
{
|
|
"case": "빈 요청",
|
|
"webhook": "my-supervisor",
|
|
"run": 1,
|
|
"passed": true,
|
|
"problems": [],
|
|
"seconds": 0.0,
|
|
"status": 400,
|
|
"request": {
|
|
"message": "",
|
|
"user": "이준호"
|
|
},
|
|
"response": {
|
|
"error": "message is required"
|
|
}
|
|
}
|
|
]
|
|
} |