publicproj/aio-01d4-stu
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
c7df2e534459b6af59ea8327400b29825859b8e2
aio-01d4-stu/Last3Mon/78/answers/23-lab03-challenge.txt
T

785 lines
21 KiB
Plaintext
Raw Normal View History

78일차 정답: LAB-A · VIBE-A-TCHECK · answers(정답 워크플로우 · 실행 기록) · 강사가 만든 tcheck
2026-11-02 20:54:06 +09:00
$ uv run tools/flow.py push answers/78-lab03-challenge-report.json
✔ pushed '78 Quality report (answer)' (id wa6b87a0a6957e93)
POST http://localhost:5678/webhook/my-quality-report
$ uv run tools/flow.py test cases/lab03-challenge.json -v
✔ before: POST http://localhost:8800/faq-reset · HTTP 200 · 0.0s · {"cleared": 0}
→ request POST http://localhost:8800/faq-reset
{}
← response HTTP 200
{
"cleared": 0
}
✔ before: POST http://localhost:8800/quarantine-clear · HTTP 200 · 0.0s · {"cleared": 1}
→ request POST http://localhost:8800/quarantine-clear
{}
← response HTTP 200
{
"cleared": 1
}
✔ before: POST http://localhost:8800/quality-log-clear · HTTP 200 · 0.0s · {"cleared": 4}
→ request POST http://localhost:8800/quality-log-clear
{}
← response HTTP 200
{
"cleared": 4
}
✔ before: POST http://localhost:8800/alerts-clear · HTTP 200 · 0.0s · {"cleared": 3}
→ request POST http://localhost:8800/alerts-clear
{}
← response HTTP 200
{
"cleared": 3
}
! before: POST /webhook/my-faq-import · HTTP 422 · 1.2s (allow_fail: rejected on purpose) · {"error": "batch rejected", "batch": "B-1", "invalid_ratio": 0.7692, "max_invalid_ratio": 0.3, "codes": {"title_missing"
→ request POST /webhook/my-faq-import
{
"batch": "B-1",
"items": [
{
"id": "FAQ-101",
"title": "사내 와이파이 연결",
"keywords": [
"와이파이",
"wifi",
"무선"
],
"answer": "사내 와이파이는 'CORP-WIFI'에 사번으로 로그인합니다. 잡히지 않으면 공유기 번호를 IT 포털에 신고합니다."
},
{
"id": "FAQ-102",
"title": "회의실 예약",
"keywords": [
"회의실",
"예약"
],
"answer": "사내 포털의 '회의실 예약' 메뉴에서 날짜 · 시간 · 인원을 적어 예약합니다."
},
{
"id": "FAQ-103",
"title": "",
"keywords": [
"출입증"
],
"answer": "출입증을 잃어버렸으면 총무팀에 재발급을 신청합니다."
},
{
"id": "FAQ-10",
"title": "노트북 반납",
"keywords": [
"노트북",
"반납"
],
"answer": "퇴사 5영업일 전까지 IT팀에 노트북을 반납합니다."
},
{
"id": "FAQ-105",
"title": "모니터 추가 신청",
"keywords": [
"모니터"
],
"answer": ""
},
{
"id": "FAQ-106",
"title": "회의실 예약 규칙",
"keywords": [
"회의실 규칙"
],
"answer": "회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. "
},
{
"id": "FAQ-102",
"title": "회의실 예약 (중복)",
"keywords": [
"회의실"
],
"answer": "사내 포털에서 회의실을 예약합니다. 취소도 같은 메뉴에서 합니다."
},
{
"id": "FAQ-108",
"title": "화상회의 장비",
"keywords": [],
"answer": "화상회의 장비는 각 층 비품실에서 빌릴 수 있습니다."
},
{
"id": "FAQ-109",
"title": "보안 사고 신고",
"keywords": [
"보안",
"신고"
],
"answer": "보안 사고는 IT팀 김민지(010-1234-5678)에게 바로 전화해 주세요."
},
{
"id": "FAQ-110",
"title": "사내 메신저 설치",
"keywords": [
"메신저"
],
"answer": "사내 메신저는 http://bit.ly/corp-msg 에서 받아 설치합니다."
},
{
"id": "FAQ-003",
"title": "VPN 접속 오류 (새 판)",
"keywords": [
"재택근무"
],
"answer": "VPN 클라이언트를 최신으로 업데이트하고 인증서를 확인합니다."
},
{
"id": "FAQ-112",
"title": "VPN 접속 오류",
"keywords": [
"vpn",
"재택근무"
],
"answer": "재택근무 중 VPN이 끊기면 클라이언트를 다시 시작하고 인증서 만료일을 확인합니다."
},
{
"id": "FAQ-113",
"title": "프린터 토너 교체",
"keywords": [
"토너"
],
"answer": "메일함 용량이 꽉 차면 오래된 메일을 보관함으로 옮겨 용량을 확보합니다."
}
]
}
← response HTTP 422
{
"error": "batch rejected",
"batch": "B-1",
"invalid_ratio": 0.7692,
"max_invalid_ratio": 0.3,
"codes": {
"title_missing": 1,
"id_format": 1,
"answer_missing": 1,
"answer_too_long": 1,
"duplicate_in_batch": 1,
"keywords_missing": 1,
"pii": 1,
"external_link": 1,
"exists_id": 1,
"same_title": 1
},
"llm_calls": 0
}
✔ before: POST /webhook/my-faq-import · HTTP 200 · 9.5s · {"batch": "B-2", "total": 10, "imported": 8, "quarantined": 2, "rejected": false, "score": 0.8, "max_invalid_ratio": 0.3
→ request POST /webhook/my-faq-import
{
"batch": "B-2",
"items": [
{
"id": "FAQ-201",
"title": "회의실 예약",
"keywords": [
"회의실",
"예약"
],
"answer": "사내 포털의 '회의실 예약' 메뉴에서 날짜 · 시간 · 인원을 적어 예약합니다."
},
{
"id": "FAQ-202",
"title": "출입증 재발급",
"keywords": [
"출입증",
"재발급"
],
"answer": "출입증을 잃어버렸으면 총무팀에 신분증을 가지고 가서 재발급을 신청합니다."
},
{
"id": "FAQ-203",
"title": "노트북 반납",
"keywords": [
"노트북",
"반납"
],
"answer": "퇴사 5영업일 전까지 IT팀에 노트북과 충전기를 반납합니다."
},
{
"id": "FAQ-204",
"title": "모니터 추가 신청",
"keywords": [
"모니터",
"추가"
],
"answer": "IT 포털의 '장비 신청'에서 모니터 추가를 신청하면 재고 확인 뒤 지급합니다."
},
{
"id": "FAQ-205",
"title": "윈도우 업데이트",
"keywords": [
"업데이트",
"윈도우"
],
"answer": "윈도우 업데이트는 매달 둘째 주 수요일 밤에 자동으로 설치됩니다. 끝나면 다시 시작합니다."
},
{
"id": "FAQ-206",
"title": "화상회의 장비 대여",
"keywords": [
"화상회의",
"카메라"
],
"answer": "화상회의 카메라와 마이크는 각 층 비품실에서 빌리고 같은 날 돌려줍니다."
},
{
"id": "FAQ-207",
"title": "사내 메신저 설치",
"keywords": [
"메신저"
],
"answer": "사내 메신저는 IT 포털(https://intra.example.com/msg)에서 받아 설치합니다."
},
{
"id": "FAQ-208",
"title": "공유 드라이브 권한",
"keywords": [
"공유 드라이브",
"권한"
],
"answer": "공유 드라이브 권한은 팀장이 IT 포털에서 신청하면 하루 안에 열립니다."
},
{
"id": "FAQ-209",
"title": "보안 사고 신고",
"keywords": [
"보안",
"신고"
],
"answer": "보안 사고는 security.desk@example.com 으로 바로 메일을 보내 주세요."
},
{
"id": "FAQ-210",
"title": "모니터 밝기 조절",
"keywords": [
"밝기"
],
"answer": "연차 휴가는 입사 1년 뒤부터 15일이며 인사 포털에서 신청합니다."
}
]
}
← response HTTP 200
{
"batch": "B-2",
"total": 10,
"imported": 8,
"quarantined": 2,
"rejected": false,
"score": 0.8,
"max_invalid_ratio": 0.3,
"codes": {
"pii": 1,
"llm_mismatch": 1
},
"imported_ids": [
"FAQ-201",
"FAQ-202",
"FAQ-203",
"FAQ-204",
"FAQ-205",
"FAQ-206",
"FAQ-207",
"FAQ-208"
],
"quarantined_ids": [
"FAQ-209",
"FAQ-210"
],
"llm_calls": 9
}
✔ before: POST /webhook/my-faq-import · HTTP 200 · 4.3s · {"batch": "B-3", "total": 6, "imported": 5, "quarantined": 1, "rejected": false, "score": 0.8333, "max_invalid_ratio": 0
→ request POST /webhook/my-faq-import
{
"batch": "B-3",
"items": [
{
"id": "FAQ-301",
"title": "택배 수령",
"keywords": [
"택배"
],
"answer": "회사로 온 택배는 1층 안내 데스크에서 사원증을 보여 주고 받습니다."
},
{
"id": "FAQ-302",
"title": "주차 등록",
"keywords": [
"주차"
],
"answer": "주차 등록은 총무팀 포털에서 차량 번호를 적어 신청합니다."
},
{
"id": "FAQ-303",
"title": "명함 신청",
"keywords": [
"명함"
],
"answer": "명함은 인사 포털에서 신청하면 일주일 안에 자리로 배달됩니다."
},
{
"id": "FAQ-304",
"title": "사내 식당 메뉴",
"keywords": [
"식당",
"메뉴"
],
"answer": "사내 식당 메뉴는 매주 월요일 아침 사내 게시판에 올라옵니다."
},
{
"id": "FAQ-305",
"title": "교육 신청",
"keywords": [
"교육"
],
"answer": "짧"
},
{
"id": "FAQ-306",
"title": "건강검진",
"keywords": [
"건강검진"
],
"answer": "건강검진은 매년 9월에 인사팀이 안내하며 지정 병원에서 받습니다."
}
]
}
← response HTTP 200
{
"batch": "B-3",
"total": 6,
"imported": 5,
"quarantined": 1,
"rejected": false,
"score": 0.8333,
"max_invalid_ratio": 0.3,
"codes": {
"answer_too_short": 1
},
"imported_ids": [
"FAQ-301",
"FAQ-302",
"FAQ-303",
"FAQ-304",
"FAQ-306"
],
"quarantined_ids": [
"FAQ-305"
],
"llm_calls": 5
}
✔ before: POST /webhook/my-faq-import · HTTP 200 · 2.2s · {"batch": "B-2-fix", "total": 2, "imported": 2, "quarantined": 0, "rejected": false, "score": 1, "max_invalid_ratio": 0.
→ request POST /webhook/my-faq-import
{
"batch": "B-2-fix",
"items": [
{
"id": "FAQ-209",
"title": "보안 사고 신고",
"keywords": [
"보안",
"신고"
],
"answer": "보안 사고는 IT 포털의 '보안 신고' 메뉴로 바로 알려 주세요. 급하면 IT 문의 창구로 연락합니다."
},
{
"id": "FAQ-210",
"title": "모니터 밝기 조절",
"keywords": [
"밝기"
],
"answer": "모니터 밝기는 모니터 아래 버튼이나 윈도우 '디스플레이 설정'에서 조절합니다."
}
]
}
← response HTTP 200
{
"batch": "B-2-fix",
"total": 2,
"imported": 2,
"quarantined": 0,
"rejected": false,
"score": 1,
"max_invalid_ratio": 0.3,
"codes": {},
"imported_ids": [
"FAQ-209",
"FAQ-210"
],
"quarantined_ids": [],
"llm_calls": 2
}
POST http://localhost:5678/webhook/my-quality-report · 4 case(s) × 1
✔ 배치 네 개 · 평균 · 가장 나쁜 배치 · 0.0s
→ request POST /webhook/my-quality-report
{}
← response HTTP 200
{
"count": 4,
"batches": [
{
"batch": "B-1",
"score": 0,
"rejected": true,
"total": 13
},
{
"batch": "B-2",
"score": 0.8,
"rejected": false,
"total": 10
},
{
"batch": "B-3",
"score": 0.8333,
"rejected": false,
"total": 6
},
{
"batch": "B-2-fix",
"score": 1,
"rejected": false,
"total": 2
}
],
"avg_score": 0.6583,
"worst_batch": "B-1",
"rejected_batches": 1,
"top_codes": [
{
"code": "pii",
"count": 2
},
{
"code": "answer_missing",
"count": 1
},
{
"code": "answer_too_long",
"count": 1
},
{
"code": "answer_too_short",
"count": 1
},
{
"code": "duplicate_in_batch",
"count": 1
},
{
"code": "exists_id",
"count": 1
},
{
"code": "external_link",
"count": 1
},
{
"code": "id_format",
"count": 1
},
{
"code": "keywords_missing",
"count": 1
},
{
"code": "llm_mismatch",
"count": 1
},
{
"code": "same_title",
"count": 1
},
{
"code": "title_missing",
"count": 1
}
],
"trend": "좋아짐"
}
✔ 가장 많은 이유 · 흐름 · 0.1s
→ request POST /webhook/my-quality-report
{}
← response HTTP 200
{
"count": 4,
"batches": [
{
"batch": "B-1",
"score": 0,
"rejected": true,
"total": 13
},
{
"batch": "B-2",
"score": 0.8,
"rejected": false,
"total": 10
},
{
"batch": "B-3",
"score": 0.8333,
"rejected": false,
"total": 6
},
{
"batch": "B-2-fix",
"score": 1,
"rejected": false,
"total": 2
}
],
"avg_score": 0.6583,
"worst_batch": "B-1",
"rejected_batches": 1,
"top_codes": [
{
"code": "pii",
"count": 2
},
{
"code": "answer_missing",
"count": 1
},
{
"code": "answer_too_long",
"count": 1
},
{
"code": "answer_too_short",
"count": 1
},
{
"code": "duplicate_in_batch",
"count": 1
},
{
"code": "exists_id",
"count": 1
},
{
"code": "external_link",
"count": 1
},
{
"code": "id_format",
"count": 1
},
{
"code": "keywords_missing",
"count": 1
},
{
"code": "llm_mismatch",
"count": 1
},
{
"code": "same_title",
"count": 1
},
{
"code": "title_missing",
"count": 1
}
],
"trend": "좋아짐"
}
✔ 배치마다 점수 순서 · 0.0s
→ request POST /webhook/my-quality-report
{}
← response HTTP 200
{
"count": 4,
"batches": [
{
"batch": "B-1",
"score": 0,
"rejected": true,
"total": 13
},
{
"batch": "B-2",
"score": 0.8,
"rejected": false,
"total": 10
},
{
"batch": "B-3",
"score": 0.8333,
"rejected": false,
"total": 6
},
{
"batch": "B-2-fix",
"score": 1,
"rejected": false,
"total": 2
}
],
"avg_score": 0.6583,
"worst_batch": "B-1",
"rejected_batches": 1,
"top_codes": [
{
"code": "pii",
"count": 2
},
{
"code": "answer_missing",
"count": 1
},
{
"code": "answer_too_long",
"count": 1
},
{
"code": "answer_too_short",
"count": 1
},
{
"code": "duplicate_in_batch",
"count": 1
},
{
"code": "exists_id",
"count": 1
},
{
"code": "external_link",
"count": 1
},
{
"code": "id_format",
"count": 1
},
{
"code": "keywords_missing",
"count": 1
},
{
"code": "llm_mismatch",
"count": 1
},
{
"code": "same_title",
"count": 1
},
{
"code": "title_missing",
"count": 1
}
],
"trend": "좋아짐"
}
✔ 다른 데이터셋으로 거르기 · 0.1s
→ request POST /webhook/my-quality-report
{
"dataset": "employee"
}
← response HTTP 200
{
"count": 0,
"batches": [],
"avg_score": 0,
"worst_batch": null,
"rejected_batches": 0,
"top_codes": [],
"trend": "그대로"
}
Passed 4/4
report: runs/lab03-challenge-20261101-181105.json
✔ after: POST http://localhost:8800/faq-reset · HTTP 200 · 0.0s · {"cleared": 15}
→ request POST http://localhost:8800/faq-reset
{}
← response HTTP 200
{
"cleared": 15
}
$ uv run tools/flow.py call my-quality-report '{}'
HTTP 200 · 0.0s
{
"count": 4,
"batches": [
{
"batch": "B-1",
"score": 0,
"rejected": true,
"total": 13
},
{
"batch": "B-2",
"score": 0.8,
"rejected": false,
"total": 10
},
{
"batch": "B-3",
"score": 0.8333,
"rejected": false,
"total": 6
},
{
"batch": "B-2-fix",
"score": 1,
"rejected": false,
"total": 2
}
],
"avg_score": 0.6583,
"worst_batch": "B-1",
"rejected_batches": 1,
"top_codes": [
{
"code": "pii",
"count": 2
},
{
"code": "answer_missing",
"count": 1
},
{
"code": "answer_too_long",
"count": 1
},
{
"code": "answer_too_short",
"count": 1
},
{
"code": "duplicate_in_batch",
"count": 1
},
{
"code": "exists_id",
"count": 1
},
{
"code": "external_link",
"count": 1
},
{
"code": "id_format",
"count": 1
},
{
"code": "keywords_missing",
"count": 1
},
{
"code": "llm_mismatch",
"count": 1
},
{
"code": "same_title",
"count": 1
},
{
"code": "title_missing",
"count": 1
}
],
"trend": "좋아짐"
}
Reference in new issue Copy Permalink