{ "cases": "lab02.json", "webhook": "my-helpdesk", "passed": 9, "total": 9, "results": [ { "case": "예제 1 · 프린터 FAQ는 규칙으로", "webhook": "my-helpdesk", "run": 1, "passed": true, "problems": [], "seconds": 1.1, "status": 200, "request": { "question": "프린터 출력이 안 돼요", "user": "최유진" }, "response": { "route": "자동 답변", "category": "faq", "answer": "프린터 전원과 네트워크 연결을 확인하고, 인쇄 대기열을 비운 뒤 다시 출력해 보세요. 추가 도움이 필요하면 담당 직원이 도와드리겠습니다.", "sources": [ "FAQ-004" ], "llm_calls": 1, "cached": false, "steps": [ "rule", "faq", "ticket", "answer", "check" ], "timings": { "data_ms": 28, "answer_ms": 999, "review_ms": 15, "total_ms": 1047 } } }, { "case": "예제 1 · 접수 번호는 규칙으로", "webhook": "my-helpdesk", "run": 1, "passed": true, "problems": [], "seconds": 0.9, "status": 200, "request": { "question": "T-1002 처리 상태 알려 주세요", "user": "박서연" }, "response": { "route": "자동 답변", "category": "ticket", "answer": "T-1002 티켓은 현재 \"처리 중\" 상태이며, 인증서 발급 승인 대기 중입니다. 10월 20일에 완료될 예정입니다. 추가 문의가 필요하면 연락처 010-2718-2818로 연락해 주세요.", "sources": [], "llm_calls": 1, "cached": false, "steps": [ "rule", "faq", "ticket", "answer", "check" ], "timings": { "data_ms": 29, "answer_ms": 802, "review_ms": 50, "total_ms": 899 } } }, { "case": "예제 1 · 없는 접수 번호", "webhook": "my-helpdesk", "run": 1, "passed": true, "problems": [], "seconds": 1.0, "status": 200, "request": { "question": "T-9999 접수 건은 어떻게 됐나요?", "user": "박서연" }, "response": { "route": "자동 답변", "category": "ticket", "answer": "T-9999 접수 건은 찾지 못했습니다. 담당 직원이 도와드릴 예정입니다.", "sources": [], "llm_calls": 1, "cached": false, "steps": [ "rule", "faq", "ticket", "answer", "check" ], "timings": { "data_ms": 28, "answer_ms": 901, "review_ms": 15, "total_ms": 951 } } }, { "case": "예제 1 · 규칙으로 모르면 LLM이 분류", "webhook": "my-helpdesk", "run": 1, "passed": true, "problems": [], "seconds": 1.6, "status": 200, "request": { "question": "회의실 화면 공유가 안 되는데 누구에게 물어보나요?", "user": "이준호", "no_cache": true }, "response": { "route": "자동 답변", "category": "faq", "answer": "찾지 못했습니다. 담당 직원이 도움을 드리겠습니다.", "sources": [], "llm_calls": 2, "cached": false, "steps": [ "rule", "classify", "faq", "ticket", "answer", "check" ], "timings": { "data_ms": 30, "classify_ms": 572, "answer_ms": 898, "review_ms": 14, "total_ms": 1522 } } }, { "case": "예제 2 · 처음 묻는 VPN", "webhook": "my-helpdesk", "run": 1, "passed": true, "problems": [], "seconds": 1.2, "status": 200, "request": { "question": "VPN 접속이 자꾸 끊겨요. 어떻게 하나요?", "user": "이준호" }, "response": { "route": "자동 답변", "category": "faq", "answer": "VPN 접속 오류가 발생하면 VPN 클라이언트를 최신 버전으로 업데이트하고, 인증서 만료 여부를 확인한 뒤 다시 접속해 보시기 바랍니다. 추가 도움이 필요하면 담당자가 도와드리겠습니다.", "sources": [ "FAQ-003" ], "llm_calls": 1, "cached": false, "steps": [ "rule", "faq", "ticket", "answer", "check" ], "timings": { "data_ms": 26, "answer_ms": 1106, "review_ms": 11, "total_ms": 1149 } } }, { "case": "예제 2 · 같은 질문 (띄어쓰기·대소문자 다름)", "webhook": "my-helpdesk", "run": 1, "passed": true, "problems": [], "seconds": 0.1, "status": 200, "request": { "question": " vpn 접속이 자꾸 끊겨요. 어떻게 하나요? ", "user": "최유진" }, "response": { "route": "자동 답변", "category": "faq", "answer": "VPN 접속 오류가 발생하면 VPN 클라이언트를 최신 버전으로 업데이트하고, 인증서 만료 여부를 확인한 뒤 다시 접속해 보시기 바랍니다. 추가 도움이 필요하면 담당자가 도와드리겠습니다.", "sources": [ "FAQ-003" ], "llm_calls": 0, "cached": true, "steps": [ "cache" ], "timings": { "total_ms": 21 } } }, { "case": "예제 2 · no_cache면 캐시 안 씀", "webhook": "my-helpdesk", "run": 1, "passed": true, "problems": [], "seconds": 1.1, "status": 200, "request": { "question": "VPN 접속이 자꾸 끊겨요. 어떻게 하나요?", "user": "이준호", "no_cache": true }, "response": { "route": "자동 답변", "category": "faq", "answer": "VPN 접속 오류가 발생하면 VPN 클라이언트를 최신 버전으로 업데이트하고, 인증서 만료 여부를 확인한 뒤 다시 접속해 보시기 바랍니다. 추가 도움이 필요하면 담당자가 도와드리겠습니다.", "sources": [ "FAQ-003" ], "llm_calls": 1, "cached": false, "steps": [ "rule", "faq", "ticket", "answer", "check" ], "timings": { "data_ms": 22, "answer_ms": 1013, "review_ms": 21, "total_ms": 1063 } } }, { "case": "예제 2 · 접수 현황은 캐시 안 함 (1)", "webhook": "my-helpdesk", "run": 1, "passed": true, "problems": [], "seconds": 1.1, "status": 200, "request": { "question": "T-1002 처리 상태 알려 주세요", "user": "박서연" }, "response": { "route": "자동 답변", "category": "ticket", "answer": "T-1002 티켓은 현재 처리 중이며, 인증서 발급 승인 대기 중입니다. 10월 20일에 완료될 예정입니다. 추가 문의가 필요하면 연락처 010-2718-2818로 연락해 주세요.", "sources": [], "llm_calls": 1, "cached": false, "steps": [ "rule", "faq", "ticket", "answer", "check" ], "timings": { "data_ms": 25, "answer_ms": 989, "review_ms": 33, "total_ms": 1069 } } }, { "case": "예제 2 · 접수 현황은 캐시 안 함 (2)", "webhook": "my-helpdesk", "run": 1, "passed": true, "problems": [], "seconds": 0.9, "status": 200, "request": { "question": "T-1002 처리 상태 알려 주세요", "user": "박서연" }, "response": { "route": "자동 답변", "category": "ticket", "answer": "T-1002 티켓은 현재 \"처리 중\" 상태이며, 인증서 발급 승인 대기 중입니다. 10월 20일에 완료될 예정입니다. 추가 문의가 필요하면 연락처 010-2718-2818로 연락해 주세요.", "sources": [], "llm_calls": 1, "cached": false, "steps": [ "rule", "faq", "ticket", "answer", "check" ], "timings": { "data_ms": 24, "answer_ms": 786, "review_ms": 17, "total_ms": 838 } } } ] }