689 lines
22 KiB
JSON
689 lines
22 KiB
JSON
{
|
|
"cases": "lab02.json",
|
|
"webhook": "my-faq-import",
|
|
"passed": 5,
|
|
"total": 6,
|
|
"results": [
|
|
{
|
|
"case": "나쁜 배치는 통째로 거절 (422)",
|
|
"webhook": "my-faq-import",
|
|
"run": 1,
|
|
"passed": true,
|
|
"problems": [],
|
|
"seconds": 0.9,
|
|
"status": 422,
|
|
"request": {
|
|
"batch": "B-1",
|
|
"items": [
|
|
{
|
|
"id": "FAQ-101",
|
|
"title": "사내 와이파이 연결",
|
|
"keywords": [
|
|
"와이파이",
|
|
"wifi",
|
|
"무선"
|
|
],
|
|
"answer": "사내 와이파이는 'CORP-WIFI'에 사번으로 로그인합니다. 잡히지 않으면 공유기 번호를 IT 포털에 신고합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-102",
|
|
"title": "회의실 예약",
|
|
"keywords": [
|
|
"회의실",
|
|
"예약"
|
|
],
|
|
"answer": "사내 포털의 '회의실 예약' 메뉴에서 날짜 · 시간 · 인원을 적어 예약합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-103",
|
|
"title": "",
|
|
"keywords": [
|
|
"출입증"
|
|
],
|
|
"answer": "출입증을 잃어버렸으면 총무팀에 재발급을 신청합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-10",
|
|
"title": "노트북 반납",
|
|
"keywords": [
|
|
"노트북",
|
|
"반납"
|
|
],
|
|
"answer": "퇴사 5영업일 전까지 IT팀에 노트북을 반납합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-105",
|
|
"title": "모니터 추가 신청",
|
|
"keywords": [
|
|
"모니터"
|
|
],
|
|
"answer": ""
|
|
},
|
|
{
|
|
"id": "FAQ-106",
|
|
"title": "회의실 예약 규칙",
|
|
"keywords": [
|
|
"회의실 규칙"
|
|
],
|
|
"answer": "회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. "
|
|
},
|
|
{
|
|
"id": "FAQ-102",
|
|
"title": "회의실 예약 (중복)",
|
|
"keywords": [
|
|
"회의실"
|
|
],
|
|
"answer": "사내 포털에서 회의실을 예약합니다. 취소도 같은 메뉴에서 합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-108",
|
|
"title": "화상회의 장비",
|
|
"keywords": [],
|
|
"answer": "화상회의 장비는 각 층 비품실에서 빌릴 수 있습니다."
|
|
},
|
|
{
|
|
"id": "FAQ-109",
|
|
"title": "보안 사고 신고",
|
|
"keywords": [
|
|
"보안",
|
|
"신고"
|
|
],
|
|
"answer": "보안 사고는 IT팀 김민지(010-1234-5678)에게 바로 전화해 주세요."
|
|
},
|
|
{
|
|
"id": "FAQ-110",
|
|
"title": "사내 메신저 설치",
|
|
"keywords": [
|
|
"메신저"
|
|
],
|
|
"answer": "사내 메신저는 http://bit.ly/corp-msg 에서 받아 설치합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-003",
|
|
"title": "VPN 접속 오류 (새 판)",
|
|
"keywords": [
|
|
"재택근무"
|
|
],
|
|
"answer": "VPN 클라이언트를 최신으로 업데이트하고 인증서를 확인합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-112",
|
|
"title": "VPN 접속 오류",
|
|
"keywords": [
|
|
"vpn",
|
|
"재택근무"
|
|
],
|
|
"answer": "재택근무 중 VPN이 끊기면 클라이언트를 다시 시작하고 인증서 만료일을 확인합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-113",
|
|
"title": "프린터 토너 교체",
|
|
"keywords": [
|
|
"토너"
|
|
],
|
|
"answer": "메일함 용량이 꽉 차면 오래된 메일을 보관함으로 옮겨 용량을 확보합니다."
|
|
}
|
|
]
|
|
},
|
|
"response": {
|
|
"error": "batch rejected",
|
|
"batch": "B-1",
|
|
"invalid_ratio": 0.7692,
|
|
"max_invalid_ratio": 0.3,
|
|
"codes": {
|
|
"title_missing": 1,
|
|
"id_format": 1,
|
|
"answer_missing": 1,
|
|
"answer_too_long": 1,
|
|
"duplicate_in_batch": 1,
|
|
"keywords_missing": 1,
|
|
"pii": 1,
|
|
"external_link": 1,
|
|
"exists_id": 1,
|
|
"same_title": 1
|
|
}
|
|
}
|
|
},
|
|
{
|
|
"case": "배치 2 · 통과한 줄만 넣고 나쁜 줄은 격리",
|
|
"webhook": "my-faq-import",
|
|
"run": 1,
|
|
"passed": true,
|
|
"problems": [],
|
|
"seconds": 1.4,
|
|
"status": 200,
|
|
"request": {
|
|
"batch": "B-2",
|
|
"items": [
|
|
{
|
|
"id": "FAQ-201",
|
|
"title": "회의실 예약",
|
|
"keywords": [
|
|
"회의실",
|
|
"예약"
|
|
],
|
|
"answer": "사내 포털의 '회의실 예약' 메뉴에서 날짜 · 시간 · 인원을 적어 예약합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-202",
|
|
"title": "출입증 재발급",
|
|
"keywords": [
|
|
"출입증",
|
|
"재발급"
|
|
],
|
|
"answer": "출입증을 잃어버렸으면 총무팀에 신분증을 가지고 가서 재발급을 신청합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-203",
|
|
"title": "노트북 반납",
|
|
"keywords": [
|
|
"노트북",
|
|
"반납"
|
|
],
|
|
"answer": "퇴사 5영업일 전까지 IT팀에 노트북과 충전기를 반납합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-204",
|
|
"title": "모니터 추가 신청",
|
|
"keywords": [
|
|
"모니터",
|
|
"추가"
|
|
],
|
|
"answer": "IT 포털의 '장비 신청'에서 모니터 추가를 신청하면 재고 확인 뒤 지급합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-205",
|
|
"title": "윈도우 업데이트",
|
|
"keywords": [
|
|
"업데이트",
|
|
"윈도우"
|
|
],
|
|
"answer": "윈도우 업데이트는 매달 둘째 주 수요일 밤에 자동으로 설치됩니다. 끝나면 다시 시작합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-206",
|
|
"title": "화상회의 장비 대여",
|
|
"keywords": [
|
|
"화상회의",
|
|
"카메라"
|
|
],
|
|
"answer": "화상회의 카메라와 마이크는 각 층 비품실에서 빌리고 같은 날 돌려줍니다."
|
|
},
|
|
{
|
|
"id": "FAQ-207",
|
|
"title": "사내 메신저 설치",
|
|
"keywords": [
|
|
"메신저"
|
|
],
|
|
"answer": "사내 메신저는 IT 포털(https://intra.example.com/msg)에서 받아 설치합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-208",
|
|
"title": "공유 드라이브 권한",
|
|
"keywords": [
|
|
"공유 드라이브",
|
|
"권한"
|
|
],
|
|
"answer": "공유 드라이브 권한은 팀장이 IT 포털에서 신청하면 하루 안에 열립니다."
|
|
},
|
|
{
|
|
"id": "FAQ-209",
|
|
"title": "보안 사고 신고",
|
|
"keywords": [
|
|
"보안",
|
|
"신고"
|
|
],
|
|
"answer": "보안 사고는 security.desk@example.com 으로 바로 메일을 보내 주세요."
|
|
},
|
|
{
|
|
"id": "FAQ-210",
|
|
"title": "모니터 밝기 조절",
|
|
"keywords": [
|
|
"밝기"
|
|
],
|
|
"answer": "연차 휴가는 입사 1년 뒤부터 15일이며 인사 포털에서 신청합니다."
|
|
}
|
|
]
|
|
},
|
|
"response": {
|
|
"batch": "B-2",
|
|
"total": 10,
|
|
"imported": 9,
|
|
"quarantined": 1,
|
|
"rejected": false,
|
|
"score": 0.9,
|
|
"max_invalid_ratio": 0.3,
|
|
"codes": {
|
|
"pii": 1
|
|
},
|
|
"imported_ids": [
|
|
"FAQ-201",
|
|
"FAQ-202",
|
|
"FAQ-203",
|
|
"FAQ-204",
|
|
"FAQ-205",
|
|
"FAQ-206",
|
|
"FAQ-207",
|
|
"FAQ-208",
|
|
"FAQ-210"
|
|
],
|
|
"quarantined_ids": [
|
|
"FAQ-209"
|
|
]
|
|
}
|
|
},
|
|
{
|
|
"case": "FAQ에 들어갔고 메일 주소는 안 들어감",
|
|
"webhook": "http://localhost:8800/faq/list",
|
|
"run": 1,
|
|
"passed": true,
|
|
"problems": [],
|
|
"seconds": 0.0,
|
|
"status": 200,
|
|
"request": {},
|
|
"response": {
|
|
"count": 15,
|
|
"faqs": [
|
|
{
|
|
"id": "FAQ-001",
|
|
"title": "비밀번호 재설정",
|
|
"keywords": [
|
|
"비밀번호",
|
|
"패스워드",
|
|
"password",
|
|
"재설정",
|
|
"초기화"
|
|
],
|
|
"answer": "사내 포털 로그인 화면의 '비밀번호 찾기'에서 휴대폰 인증 후 새 비밀번호를 설정합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-002",
|
|
"title": "계정 잠김 해제",
|
|
"keywords": [
|
|
"계정",
|
|
"잠김",
|
|
"잠금",
|
|
"로그인",
|
|
"실패"
|
|
],
|
|
"answer": "로그인 5회 실패 시 30분 동안 잠깁니다. 30분 후 다시 시도하거나 헬프데스크에 잠금 해제를 요청합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-003",
|
|
"title": "VPN 접속 오류",
|
|
"keywords": [
|
|
"vpn",
|
|
"원격",
|
|
"재택",
|
|
"접속",
|
|
"연결"
|
|
],
|
|
"answer": "VPN 클라이언트를 최신 버전으로 업데이트하고, 인증서 만료 여부를 확인한 뒤 다시 접속합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-004",
|
|
"title": "프린터 출력 안 됨",
|
|
"keywords": [
|
|
"프린터",
|
|
"출력",
|
|
"인쇄",
|
|
"용지"
|
|
],
|
|
"answer": "프린터 전원과 네트워크 연결을 확인하고, 인쇄 대기열을 비운 뒤 다시 출력합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-005",
|
|
"title": "메일함 용량 초과",
|
|
"keywords": [
|
|
"메일",
|
|
"용량",
|
|
"메일함",
|
|
"첨부"
|
|
],
|
|
"answer": "오래된 메일과 큰 첨부 파일을 보관함으로 옮기거나 삭제해 용량을 확보합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-006",
|
|
"title": "소프트웨어 설치 요청",
|
|
"keywords": [
|
|
"설치",
|
|
"소프트웨어",
|
|
"프로그램",
|
|
"라이선스"
|
|
],
|
|
"answer": "IT 포털의 '소프트웨어 신청' 메뉴에서 승인 요청을 올리면 승인 후 원격으로 설치됩니다."
|
|
},
|
|
{
|
|
"id": "FAQ-201",
|
|
"title": "회의실 예약",
|
|
"keywords": [
|
|
"회의실",
|
|
"예약"
|
|
],
|
|
"answer": "사내 포털의 '회의실 예약' 메뉴에서 날짜 · 시간 · 인원을 적어 예약합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-202",
|
|
"title": "출입증 재발급",
|
|
"keywords": [
|
|
"출입증",
|
|
"재발급"
|
|
],
|
|
"answer": "출입증을 잃어버렸으면 총무팀에 신분증을 가지고 가서 재발급을 신청합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-203",
|
|
"title": "노트북 반납",
|
|
"keywords": [
|
|
"노트북",
|
|
"반납"
|
|
],
|
|
"answer": "퇴사 5영업일 전까지 IT팀에 노트북과 충전기를 반납합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-204",
|
|
"title": "모니터 추가 신청",
|
|
"keywords": [
|
|
"모니터",
|
|
"추가"
|
|
],
|
|
"answer": "IT 포털의 '장비 신청'에서 모니터 추가를 신청하면 재고 확인 뒤 지급합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-205",
|
|
"title": "윈도우 업데이트",
|
|
"keywords": [
|
|
"업데이트",
|
|
"윈도우"
|
|
],
|
|
"answer": "윈도우 업데이트는 매달 둘째 주 수요일 밤에 자동으로 설치됩니다. 끝나면 다시 시작합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-206",
|
|
"title": "화상회의 장비 대여",
|
|
"keywords": [
|
|
"화상회의",
|
|
"카메라"
|
|
],
|
|
"answer": "화상회의 카메라와 마이크는 각 층 비품실에서 빌리고 같은 날 돌려줍니다."
|
|
},
|
|
{
|
|
"id": "FAQ-207",
|
|
"title": "사내 메신저 설치",
|
|
"keywords": [
|
|
"메신저"
|
|
],
|
|
"answer": "사내 메신저는 IT 포털(https://intra.example.com/msg)에서 받아 설치합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-208",
|
|
"title": "공유 드라이브 권한",
|
|
"keywords": [
|
|
"공유 드라이브",
|
|
"권한"
|
|
],
|
|
"answer": "공유 드라이브 권한은 팀장이 IT 포털에서 신청하면 하루 안에 열립니다."
|
|
},
|
|
{
|
|
"id": "FAQ-210",
|
|
"title": "모니터 밝기 조절",
|
|
"keywords": [
|
|
"밝기"
|
|
],
|
|
"answer": "연차 휴가는 입사 1년 뒤부터 15일이며 인사 포털에서 신청합니다."
|
|
}
|
|
]
|
|
}
|
|
},
|
|
{
|
|
"case": "격리함에 이유와 함께",
|
|
"webhook": "http://localhost:8800/quarantine/list",
|
|
"run": 1,
|
|
"passed": true,
|
|
"problems": [],
|
|
"seconds": 0.0,
|
|
"status": 200,
|
|
"request": {},
|
|
"response": {
|
|
"size": 1,
|
|
"items": [
|
|
{
|
|
"row_id": "FAQ-209",
|
|
"batch": "B-2",
|
|
"row": {
|
|
"id": "FAQ-209",
|
|
"title": "보안 사고 신고",
|
|
"keywords": [
|
|
"보안",
|
|
"신고"
|
|
],
|
|
"answer": "보안 사고는 security.desk@example.com 으로 바로 메일을 보내 주세요."
|
|
},
|
|
"errors": [
|
|
"pii"
|
|
],
|
|
"at": "2026-11-01T18:06:06"
|
|
}
|
|
]
|
|
}
|
|
},
|
|
{
|
|
"case": "LLM · 제목과 답이 다른 줄 (FAQ-210)",
|
|
"webhook": "my-faq-import",
|
|
"run": 1,
|
|
"passed": false,
|
|
"problems": [
|
|
"imported = 9 (expected 8)",
|
|
"quarantined = 1 (expected 2)",
|
|
"codes.llm_mismatch = null (expected 1)",
|
|
"quarantined_ids has none of ['FAQ-210']"
|
|
],
|
|
"seconds": 1.2,
|
|
"status": 200,
|
|
"request": {
|
|
"batch": "B-2",
|
|
"items": [
|
|
{
|
|
"id": "FAQ-201",
|
|
"title": "회의실 예약",
|
|
"keywords": [
|
|
"회의실",
|
|
"예약"
|
|
],
|
|
"answer": "사내 포털의 '회의실 예약' 메뉴에서 날짜 · 시간 · 인원을 적어 예약합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-202",
|
|
"title": "출입증 재발급",
|
|
"keywords": [
|
|
"출입증",
|
|
"재발급"
|
|
],
|
|
"answer": "출입증을 잃어버렸으면 총무팀에 신분증을 가지고 가서 재발급을 신청합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-203",
|
|
"title": "노트북 반납",
|
|
"keywords": [
|
|
"노트북",
|
|
"반납"
|
|
],
|
|
"answer": "퇴사 5영업일 전까지 IT팀에 노트북과 충전기를 반납합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-204",
|
|
"title": "모니터 추가 신청",
|
|
"keywords": [
|
|
"모니터",
|
|
"추가"
|
|
],
|
|
"answer": "IT 포털의 '장비 신청'에서 모니터 추가를 신청하면 재고 확인 뒤 지급합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-205",
|
|
"title": "윈도우 업데이트",
|
|
"keywords": [
|
|
"업데이트",
|
|
"윈도우"
|
|
],
|
|
"answer": "윈도우 업데이트는 매달 둘째 주 수요일 밤에 자동으로 설치됩니다. 끝나면 다시 시작합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-206",
|
|
"title": "화상회의 장비 대여",
|
|
"keywords": [
|
|
"화상회의",
|
|
"카메라"
|
|
],
|
|
"answer": "화상회의 카메라와 마이크는 각 층 비품실에서 빌리고 같은 날 돌려줍니다."
|
|
},
|
|
{
|
|
"id": "FAQ-207",
|
|
"title": "사내 메신저 설치",
|
|
"keywords": [
|
|
"메신저"
|
|
],
|
|
"answer": "사내 메신저는 IT 포털(https://intra.example.com/msg)에서 받아 설치합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-208",
|
|
"title": "공유 드라이브 권한",
|
|
"keywords": [
|
|
"공유 드라이브",
|
|
"권한"
|
|
],
|
|
"answer": "공유 드라이브 권한은 팀장이 IT 포털에서 신청하면 하루 안에 열립니다."
|
|
},
|
|
{
|
|
"id": "FAQ-209",
|
|
"title": "보안 사고 신고",
|
|
"keywords": [
|
|
"보안",
|
|
"신고"
|
|
],
|
|
"answer": "보안 사고는 security.desk@example.com 으로 바로 메일을 보내 주세요."
|
|
},
|
|
{
|
|
"id": "FAQ-210",
|
|
"title": "모니터 밝기 조절",
|
|
"keywords": [
|
|
"밝기"
|
|
],
|
|
"answer": "연차 휴가는 입사 1년 뒤부터 15일이며 인사 포털에서 신청합니다."
|
|
}
|
|
]
|
|
},
|
|
"response": {
|
|
"batch": "B-2",
|
|
"total": 10,
|
|
"imported": 9,
|
|
"quarantined": 1,
|
|
"rejected": false,
|
|
"score": 0.9,
|
|
"max_invalid_ratio": 0.3,
|
|
"codes": {
|
|
"pii": 1
|
|
},
|
|
"imported_ids": [
|
|
"FAQ-201",
|
|
"FAQ-202",
|
|
"FAQ-203",
|
|
"FAQ-204",
|
|
"FAQ-205",
|
|
"FAQ-206",
|
|
"FAQ-207",
|
|
"FAQ-208",
|
|
"FAQ-210"
|
|
],
|
|
"quarantined_ids": [
|
|
"FAQ-209"
|
|
]
|
|
}
|
|
},
|
|
{
|
|
"case": "LLM · 규칙에 걸린 줄은 그대로 (FAQ-305)",
|
|
"webhook": "my-faq-import",
|
|
"run": 1,
|
|
"passed": true,
|
|
"problems": [],
|
|
"seconds": 0.1,
|
|
"status": 200,
|
|
"request": {
|
|
"batch": "B-3",
|
|
"items": [
|
|
{
|
|
"id": "FAQ-301",
|
|
"title": "택배 수령",
|
|
"keywords": [
|
|
"택배"
|
|
],
|
|
"answer": "회사로 온 택배는 1층 안내 데스크에서 사원증을 보여 주고 받습니다."
|
|
},
|
|
{
|
|
"id": "FAQ-302",
|
|
"title": "주차 등록",
|
|
"keywords": [
|
|
"주차"
|
|
],
|
|
"answer": "주차 등록은 총무팀 포털에서 차량 번호를 적어 신청합니다."
|
|
},
|
|
{
|
|
"id": "FAQ-303",
|
|
"title": "명함 신청",
|
|
"keywords": [
|
|
"명함"
|
|
],
|
|
"answer": "명함은 인사 포털에서 신청하면 일주일 안에 자리로 배달됩니다."
|
|
},
|
|
{
|
|
"id": "FAQ-304",
|
|
"title": "사내 식당 메뉴",
|
|
"keywords": [
|
|
"식당",
|
|
"메뉴"
|
|
],
|
|
"answer": "사내 식당 메뉴는 매주 월요일 아침 사내 게시판에 올라옵니다."
|
|
},
|
|
{
|
|
"id": "FAQ-305",
|
|
"title": "교육 신청",
|
|
"keywords": [
|
|
"교육"
|
|
],
|
|
"answer": "짧"
|
|
},
|
|
{
|
|
"id": "FAQ-306",
|
|
"title": "건강검진",
|
|
"keywords": [
|
|
"건강검진"
|
|
],
|
|
"answer": "건강검진은 매년 9월에 인사팀이 안내하며 지정 병원에서 받습니다."
|
|
}
|
|
]
|
|
},
|
|
"response": {
|
|
"batch": "B-3",
|
|
"total": 6,
|
|
"imported": 5,
|
|
"quarantined": 1,
|
|
"rejected": false,
|
|
"score": 0.8333,
|
|
"max_invalid_ratio": 0.3,
|
|
"codes": {
|
|
"answer_too_short": 1
|
|
},
|
|
"imported_ids": [
|
|
"FAQ-301",
|
|
"FAQ-302",
|
|
"FAQ-303",
|
|
"FAQ-304",
|
|
"FAQ-306"
|
|
],
|
|
"quarantined_ids": [
|
|
"FAQ-305"
|
|
]
|
|
}
|
|
}
|
|
]
|
|
} |