{ "cases": "lab02.json", "webhook": "my-helpdesk", "passed": 9, "total": 9, "results": [ { "case": "예제 1 · 프린터 FAQ는 규칙으로", "webhook": "my-helpdesk", "run": 1, "passed": true, "problems": [], "seconds": 1.8, "status": 200, "request": { "question": "프린터 출력이 안 돼요", "user": "최유진" }, "response": { "route": "자동 답변", "category": "faq", "answer": "프린터 전원과 네트워크 연결을 확인하고, 인쇄 대기열을 비운 뒤 다시 출력해 보세요. 추가 도움이 필요하면 담당 직원이 도와드리겠습니다.", "sources": [ "FAQ-004" ], "llm_calls": 1, "cached": false, "steps": [ "rule", "faq", "ticket", "answer", "check" ], "timings": { "data_ms": 568, "answer_ms": 1078, "review_ms": 12, "total_ms": 1679 } } }, { "case": "예제 1 · 접수 번호는 규칙으로", "webhook": "my-helpdesk", "run": 1, "passed": true, "problems": [], "seconds": 1.1, "status": 200, "request": { "question": "T-1002 처리 상태 알려 주세요", "user": "박서연" }, "response": { "route": "자동 답변", "category": "ticket", "answer": "T-1002 티켓은 현재 처리 중이며, 인증서 발급 승인 대기 중입니다. 10월 20일에 완료될 예정입니다. 추가 문의가 필요하면 연락처 010-2718-2818로 연락 바랍니다.", "sources": [], "llm_calls": 1, "cached": false, "steps": [ "rule", "faq", "ticket", "answer", "check" ], "timings": { "data_ms": 38, "answer_ms": 969, "review_ms": 15, "total_ms": 1032 } } }, { "case": "예제 1 · 없는 접수 번호", "webhook": "my-helpdesk", "run": 1, "passed": true, "problems": [], "seconds": 1.7, "status": 200, "request": { "question": "T-9999 접수 건은 어떻게 됐나요?", "user": "박서연" }, "response": { "route": "자동 답변", "category": "ticket", "answer": "T-9999 접수 건은 찾지 못했습니다. 담당 직원이 도와드리겠습니다.", "sources": [], "llm_calls": 1, "cached": false, "steps": [ "rule", "faq", "ticket", "answer", "check" ], "timings": { "data_ms": 546, "answer_ms": 1011, "review_ms": 46, "total_ms": 1632 } } }, { "case": "예제 1 · 규칙으로 모르면 LLM이 분류", "webhook": "my-helpdesk", "run": 1, "passed": true, "problems": [], "seconds": 2.2, "status": 200, "request": { "question": "회의실 화면 공유가 안 되는데 누구에게 물어보나요?", "user": "이준호", "no_cache": true }, "response": { "route": "자동 답변", "category": "faq", "answer": "찾지 못했습니다. 담당 직원이 도움을 드리겠습니다.", "sources": [], "llm_calls": 2, "cached": false, "steps": [ "rule", "classify", "faq", "ticket", "answer", "check" ], "timings": { "data_ms": 560, "classify_ms": 881, "answer_ms": 734, "review_ms": 23, "total_ms": 2206 } } }, { "case": "예제 2 · 처음 묻는 VPN", "webhook": "my-helpdesk", "run": 1, "passed": true, "problems": [], "seconds": 1.9, "status": 200, "request": { "question": "VPN 접속이 자꾸 끊겨요. 어떻게 하나요?", "user": "이준호" }, "response": { "route": "자동 답변", "category": "faq", "answer": "VPN 접속 오류가 발생하면 VPN 클라이언트를 최신 버전으로 업데이트하고, 인증서 만료 여부를 확인한 뒤 다시 접속해 보시기 바랍니다. 추가 도움이 필요하면 담당자가 도와드리겠습니다.", "sources": [ "FAQ-003" ], "llm_calls": 1, "cached": false, "steps": [ "rule", "faq", "ticket", "answer", "check" ], "timings": { "data_ms": 560, "answer_ms": 1222, "review_ms": 12, "total_ms": 1803 } } }, { "case": "예제 2 · 같은 질문 (띄어쓰기·대소문자 다름)", "webhook": "my-helpdesk", "run": 1, "passed": true, "problems": [], "seconds": 0.1, "status": 200, "request": { "question": " vpn 접속이 자꾸 끊겨요. 어떻게 하나요? ", "user": "최유진" }, "response": { "route": "자동 답변", "category": "faq", "answer": "VPN 접속 오류가 발생하면 VPN 클라이언트를 최신 버전으로 업데이트하고, 인증서 만료 여부를 확인한 뒤 다시 접속해 보시기 바랍니다. 추가 도움이 필요하면 담당자가 도와드리겠습니다.", "sources": [ "FAQ-003" ], "llm_calls": 0, "cached": true, "steps": [ "cache" ], "timings": { "total_ms": 20 } } }, { "case": "예제 2 · no_cache면 캐시 안 씀", "webhook": "my-helpdesk", "run": 1, "passed": true, "problems": [], "seconds": 1.7, "status": 200, "request": { "question": "VPN 접속이 자꾸 끊겨요. 어떻게 하나요?", "user": "이준호", "no_cache": true }, "response": { "route": "자동 답변", "category": "faq", "answer": "VPN 접속 오류가 발생하면 VPN 클라이언트를 최신 버전으로 업데이트하고, 인증서 만료 여부를 확인한 뒤 다시 접속해 보시기 바랍니다. 추가 도움이 필요하면 담당자가 도와드리겠습니다.", "sources": [ "FAQ-003" ], "llm_calls": 1, "cached": false, "steps": [ "rule", "faq", "ticket", "answer", "check" ], "timings": { "data_ms": 560, "answer_ms": 1041, "review_ms": 17, "total_ms": 1625 } } }, { "case": "예제 2 · 접수 현황은 캐시 안 함 (1)", "webhook": "my-helpdesk", "run": 1, "passed": true, "problems": [], "seconds": 1.0, "status": 200, "request": { "question": "T-1002 처리 상태 알려 주세요", "user": "박서연" }, "response": { "route": "자동 답변", "category": "ticket", "answer": "T-1002 티켓은 현재 처리 중이며, 인증서 발급 승인 대기 중입니다. 10월 20일에 완료될 예정입니다. 추가 문의가 필요하면 연락처 010-2718-2818로 연락 바랍니다.", "sources": [], "llm_calls": 1, "cached": false, "steps": [ "rule", "faq", "ticket", "answer", "check" ], "timings": { "data_ms": 27, "answer_ms": 934, "review_ms": 19, "total_ms": 986 } } }, { "case": "예제 2 · 접수 현황은 캐시 안 함 (2)", "webhook": "my-helpdesk", "run": 1, "passed": true, "problems": [], "seconds": 1.2, "status": 200, "request": { "question": "T-1002 처리 상태 알려 주세요", "user": "박서연" }, "response": { "route": "자동 답변", "category": "ticket", "answer": "T-1002 티켓은 현재 \"처리 중\" 상태이며, 인증서 발급 승인 대기 중입니다. 10월 20일에 완료될 예정입니다. 추가 문의가 필요하면 연락처 010-2718-2818로 연락해 주세요.", "sources": [], "llm_calls": 1, "cached": false, "steps": [ "rule", "faq", "ticket", "answer", "check" ], "timings": { "data_ms": 31, "answer_ms": 1016, "review_ms": 43, "total_ms": 1110 } } } ] }