{ "cases": "lab02-challenge.json", "webhook": "my-policy-qa", "passed": 2, "total": 8, "results": [ { "case": "점수는 높은데 규정에 없음 (VPN 속도)", "webhook": "my-policy-qa", "run": 1, "passed": false, "problems": [ "route = 자동 답변 (expected 담당자 연결)" ], "seconds": 1.6, "status": 200, "request": { "question": "VPN 접속 속도가 느리면 어떻게 해요?" }, "response": { "route": "자동 답변", "answer": "규정에서는 VPN 접속 속도가 느릴 때의 대처 방법에 대해 언급하고 있지 않습니다. 따라서 규정에서 답을 찾지 못했습니다.", "sources": [ "remote-work-vpn" ], "cited": [], "top_score": 0.463 } }, { "case": "점수는 높은데 규정에 없음 (노트북 사양)", "webhook": "my-policy-qa", "run": 1, "passed": false, "problems": [ "route = 자동 답변 (expected 담당자 연결)" ], "seconds": 1.1, "status": 200, "request": { "question": "노트북 사양은 어떻게 되나요?" }, "response": { "route": "자동 답변", "answer": "규정 발췌에는 노트북 사양에 대한 내용이 포함되어 있지 않습니다. 따라서 노트북 사양에 관한 정보는 제공되지 않았습니다. [업무용 장비 지급·반납 규정][메일·문서 보안 규정][업무용 장비 지급·반납 규정]", "sources": [ "device-issue-return", "email-and-documents" ], "cited": [ "device-issue-return", "email-and-documents" ], "top_score": 0.379 } }, { "case": "점수는 높은데 규정에 없음 (비밀번호 잊음)", "webhook": "my-policy-qa", "run": 1, "passed": false, "problems": [ "route = 자동 답변 (expected 담당자 연결)" ], "seconds": 1.6, "status": 200, "request": { "question": "비밀번호를 잊어버리면 어디서 바꿔요?" }, "response": { "route": "자동 답변", "answer": "규정에서 답을 찾지 못했습니다.", "sources": [ "password-policy" ], "cited": [], "top_score": 0.551 } }, { "case": "점수는 높은데 규정에 없음 (보안 교육)", "webhook": "my-policy-qa", "run": 1, "passed": false, "problems": [ "route = 자동 답변 (expected 담당자 연결)" ], "seconds": 1.2, "status": 200, "request": { "question": "보안 교육은 1년에 몇 번 받아야 하나요?" }, "response": { "route": "자동 답변", "answer": "규정에서 답을 찾지 못했습니다.", "sources": [ "security-incident", "remote-work-vpn", "password-policy" ], "cited": [], "top_score": 0.352 } }, { "case": "점수가 낮아 걸러짐 (연차)", "webhook": "my-policy-qa", "run": 1, "passed": true, "problems": [], "seconds": 0.3, "status": 200, "request": { "question": "연차 휴가는 며칠이에요?" }, "response": { "route": "담당자 연결", "answer": "규정에서 답을 찾지 못했습니다. IT 문의 창구로 연결해 드릴게요.", "sources": [], "cited": [], "top_score": 0.259 } }, { "case": "틀린 전제 (30일)", "webhook": "my-policy-qa", "run": 1, "passed": true, "problems": [], "seconds": 1.3, "status": 200, "request": { "question": "비밀번호는 30일마다 바꾸면 되죠?" }, "response": { "route": "자동 답변", "answer": "비밀번호는 30일마다 바꾸는 것이 아니라 90일마다 바꿔야 합니다. 만료 7일 전부터 사내 포털에 변경 안내가 표시됩니다[비밀번호·계정 보안 규정].", "sources": [ "password-policy" ], "cited": [ "password-policy" ], "top_score": 0.685 } }, { "case": "근거 있는 답은 그대로", "webhook": "my-policy-qa", "run": 1, "passed": false, "problems": [ "failed = null (expected [])" ], "seconds": 1.5, "status": 200, "request": { "question": "암호를 얼마나 자주 바꿔야 해?" }, "response": { "route": "자동 답변", "answer": "암호는 90일마다 변경해야 하며, 만료 7일 전부터 사내 포털에 변경 안내가 표시됩니다. 또한 최근에 사용한 비밀번호 5개는 다시 사용할 수 없습니다[비밀번호·계정 보안 규정].", "sources": [ "password-policy" ], "cited": [ "password-policy" ], "top_score": 0.576 } }, { "case": "검사 기록", "webhook": "my-policy-qa", "run": 1, "passed": false, "problems": [ "checks has none of ['grounded']" ], "seconds": 7.3, "status": 200, "request": { "question": "컴퓨터가 바이러스에 걸린 것 같아요" }, "response": { "route": "자동 답변", "answer": "컴퓨터가 갑자기 느려지거나 모르는 프로그램이 실행되면 악성코드 감염을 의심해야 합니다. 감염이 의심되면 먼저 랜선을 뽑고 와이파이를 꺼서 네트워크에서 분리한 뒤 IT 문의로 알리세요. 컴퓨터를 끄거나 파일을 지우지 마십시오. 원인 분석에 필요합니다[보안 사고 대응 절차].", "sources": [ "security-incident", "remote-work-vpn" ], "cited": [ "security-incident" ], "top_score": 0.478 } } ] }