$ uv run tools/flow.py test cases/lab02-gate.json -v
✔ before: POST http://localhost:8800/faq-reset · HTTP 200 · 0.0s · {"cleared": 0}
    → request  POST http://localhost:8800/faq-reset
      {}
    ← response HTTP 200
      {
        "cleared": 0
      }
✔ before: POST http://localhost:8800/quarantine-clear · HTTP 200 · 0.0s · {"cleared": 3}
    → request  POST http://localhost:8800/quarantine-clear
      {}
    ← response HTTP 200
      {
        "cleared": 3
      }
✔ before: POST http://localhost:8800/quality-log-clear · HTTP 200 · 0.0s · {"cleared": 0}
    → request  POST http://localhost:8800/quality-log-clear
      {}
    ← response HTTP 200
      {
        "cleared": 0
      }
✔ before: POST http://localhost:8800/alerts-clear · HTTP 200 · 0.0s · {"cleared": 0}
    → request  POST http://localhost:8800/alerts-clear
      {}
    ← response HTTP 200
      {
        "cleared": 0
      }
POST http://localhost:5678/webhook/my-faq-import · 6 case(s) × 1
✔ B-1 · 기본 기준 0.3 → 거절 · 0.1s
    → request  POST /webhook/my-faq-import
      {
        "batch": "B-1",
        "items": [
          {
            "id": "FAQ-101",
            "title": "사내 와이파이 연결",
            "keywords": [
              "와이파이",
              "wifi",
              "무선"
            ],
            "answer": "사내 와이파이는 'CORP-WIFI'에 사번으로 로그인합니다. 잡히지 않으면 공유기 번호를 IT 포털에 신고합니다."
          },
          {
            "id": "FAQ-102",
            "title": "회의실 예약",
            "keywords": [
              "회의실",
              "예약"
            ],
            "answer": "사내 포털의 '회의실 예약' 메뉴에서 날짜 · 시간 · 인원을 적어 예약합니다."
          },
          {
            "id": "FAQ-103",
            "title": "",
            "keywords": [
              "출입증"
            ],
            "answer": "출입증을 잃어버렸으면 총무팀에 재발급을 신청합니다."
          },
          {
            "id": "FAQ-10",
            "title": "노트북 반납",
            "keywords": [
              "노트북",
              "반납"
            ],
            "answer": "퇴사 5영업일 전까지 IT팀에 노트북을 반납합니다."
          },
          {
            "id": "FAQ-105",
            "title": "모니터 추가 신청",
            "keywords": [
              "모니터"
            ],
            "answer": ""
          },
          {
            "id": "FAQ-106",
            "title": "회의실 예약 규칙",
            "keywords": [
              "회의실 규칙"
            ],
            "answer": "회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. "
          },
          {
            "id": "FAQ-102",
            "title": "회의실 예약 (중복)",
            "keywords": [
              "회의실"
            ],
            "answer": "사내 포털에서 회의실을 예약합니다. 취소도 같은 메뉴에서 합니다."
          },
          {
            "id": "FAQ-108",
            "title": "화상회의 장비",
            "keywords": [],
            "answer": "화상회의 장비는 각 층 비품실에서 빌릴 수 있습니다."
          },
          {
            "id": "FAQ-109",
            "title": "보안 사고 신고",
            "keywords": [
              "보안",
              "신고"
            ],
            "answer": "보안 사고는 IT팀 김민지(010-1234-5678)에게 바로 전화해 주세요."
          },
          {
            "id": "FAQ-110",
            "title": "사내 메신저 설치",
            "keywords": [
              "메신저"
            ],
            "answer": "사내 메신저는 http://bit.ly/corp-msg 에서 받아 설치합니다."
          },
          {
            "id": "FAQ-003",
            "title": "VPN 접속 오류 (새 판)",
            "keywords": [
              "재택근무"
            ],
            "answer": "VPN 클라이언트를 최신으로 업데이트하고 인증서를 확인합니다."
          },
          {
            "id": "FAQ-112",
            "title": "VPN 접속 오류",
            "keywords": [
              "vpn",
              "재택근무"
            ],
            "answer": "재택근무 중 VPN이 끊기면 클라이언트를 다시 시작하고 인증서 만료일을 확인합니다."
          },
          {
            "id": "FAQ-113",
            "title": "프린터 토너 교체",
            "keywords": [
              "토너"
            ],
            "answer": "메일함 용량이 꽉 차면 오래된 메일을 보관함으로 옮겨 용량을 확보합니다."
          }
        ]
      }
    ← response HTTP 422
      {
        "error": "batch rejected",
        "batch": "B-1",
        "invalid_ratio": 0.7692,
        "max_invalid_ratio": 0.3,
        "codes": {
          "title_missing": 1,
          "id_format": 1,
          "answer_missing": 1,
          "answer_too_long": 1,
          "duplicate_in_batch": 1,
          "keywords_missing": 1,
          "pii": 1,
          "external_link": 1,
          "exists_id": 1,
          "same_title": 1
        }
      }
✔ B-1 · 기준을 0.8로 풀면 → 받음, 넣는 것은 2줄 · 9.0s
    → request  POST /webhook/my-faq-import
      {
        "max_invalid_ratio": 0.8,
        "batch": "B-1",
        "items": [
          {
            "id": "FAQ-101",
            "title": "사내 와이파이 연결",
            "keywords": [
              "와이파이",
              "wifi",
              "무선"
            ],
            "answer": "사내 와이파이는 'CORP-WIFI'에 사번으로 로그인합니다. 잡히지 않으면 공유기 번호를 IT 포털에 신고합니다."
          },
          {
            "id": "FAQ-102",
            "title": "회의실 예약",
            "keywords": [
              "회의실",
              "예약"
            ],
            "answer": "사내 포털의 '회의실 예약' 메뉴에서 날짜 · 시간 · 인원을 적어 예약합니다."
          },
          {
            "id": "FAQ-103",
            "title": "",
            "keywords": [
              "출입증"
            ],
            "answer": "출입증을 잃어버렸으면 총무팀에 재발급을 신청합니다."
          },
          {
            "id": "FAQ-10",
            "title": "노트북 반납",
            "keywords": [
              "노트북",
              "반납"
            ],
            "answer": "퇴사 5영업일 전까지 IT팀에 노트북을 반납합니다."
          },
          {
            "id": "FAQ-105",
            "title": "모니터 추가 신청",
            "keywords": [
              "모니터"
            ],
            "answer": ""
          },
          {
            "id": "FAQ-106",
            "title": "회의실 예약 규칙",
            "keywords": [
              "회의실 규칙"
            ],
            "answer": "회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. "
          },
          {
            "id": "FAQ-102",
            "title": "회의실 예약 (중복)",
            "keywords": [
              "회의실"
            ],
            "answer": "사내 포털에서 회의실을 예약합니다. 취소도 같은 메뉴에서 합니다."
          },
          {
            "id": "FAQ-108",
            "title": "화상회의 장비",
            "keywords": [],
            "answer": "화상회의 장비는 각 층 비품실에서 빌릴 수 있습니다."
          },
          {
            "id": "FAQ-109",
            "title": "보안 사고 신고",
            "keywords": [
              "보안",
              "신고"
            ],
            "answer": "보안 사고는 IT팀 김민지(010-1234-5678)에게 바로 전화해 주세요."
          },
          {
            "id": "FAQ-110",
            "title": "사내 메신저 설치",
            "keywords": [
              "메신저"
            ],
            "answer": "사내 메신저는 http://bit.ly/corp-msg 에서 받아 설치합니다."
          },
          {
            "id": "FAQ-003",
            "title": "VPN 접속 오류 (새 판)",
            "keywords": [
              "재택근무"
            ],
            "answer": "VPN 클라이언트를 최신으로 업데이트하고 인증서를 확인합니다."
          },
          {
            "id": "FAQ-112",
            "title": "VPN 접속 오류",
            "keywords": [
              "vpn",
              "재택근무"
            ],
            "answer": "재택근무 중 VPN이 끊기면 클라이언트를 다시 시작하고 인증서 만료일을 확인합니다."
          },
          {
            "id": "FAQ-113",
            "title": "프린터 토너 교체",
            "keywords": [
              "토너"
            ],
            "answer": "메일함 용량이 꽉 차면 오래된 메일을 보관함으로 옮겨 용량을 확보합니다."
          }
        ]
      }
    ← response HTTP 200
      {
        "batch": "B-1",
        "total": 13,
        "imported": 2,
        "quarantined": 11,
        "rejected": false,
        "score": 0.1538,
        "max_invalid_ratio": 0.8,
        "codes": {
          "title_missing": 1,
          "id_format": 1,
          "answer_missing": 1,
          "answer_too_long": 1,
          "duplicate_in_batch": 1,
          "keywords_missing": 1,
          "pii": 1,
          "external_link": 1,
          "exists_id": 1,
          "same_title": 1,
          "llm_mismatch": 1
        },
        "imported_ids": [
          "FAQ-101",
          "FAQ-102"
        ],
        "quarantined_ids": [
          "FAQ-103",
          "FAQ-10",
          "FAQ-105",
          "FAQ-106",
          "FAQ-102",
          "FAQ-108",
          "FAQ-109",
          "FAQ-110",
          "FAQ-003",
          "FAQ-112",
          "FAQ-113"
        ]
      }
✔ FAQ만 처음으로 (B-1이 넣은 2줄을 비움, 격리함은 그대로) · 0.0s
    → request  POST http://localhost:8800/faq-reset
      {}
    ← response HTTP 200
      {
        "cleared": 2
      }
✔ B-2 · 기준 0.05 → 거절 · 0.1s
    → request  POST /webhook/my-faq-import
      {
        "max_invalid_ratio": 0.05,
        "batch": "B-2",
        "items": [
          {
            "id": "FAQ-201",
            "title": "회의실 예약",
            "keywords": [
              "회의실",
              "예약"
            ],
            "answer": "사내 포털의 '회의실 예약' 메뉴에서 날짜 · 시간 · 인원을 적어 예약합니다."
          },
          {
            "id": "FAQ-202",
            "title": "출입증 재발급",
            "keywords": [
              "출입증",
              "재발급"
            ],
            "answer": "출입증을 잃어버렸으면 총무팀에 신분증을 가지고 가서 재발급을 신청합니다."
          },
          {
            "id": "FAQ-203",
            "title": "노트북 반납",
            "keywords": [
              "노트북",
              "반납"
            ],
            "answer": "퇴사 5영업일 전까지 IT팀에 노트북과 충전기를 반납합니다."
          },
          {
            "id": "FAQ-204",
            "title": "모니터 추가 신청",
            "keywords": [
              "모니터",
              "추가"
            ],
            "answer": "IT 포털의 '장비 신청'에서 모니터 추가를 신청하면 재고 확인 뒤 지급합니다."
          },
          {
            "id": "FAQ-205",
            "title": "윈도우 업데이트",
            "keywords": [
              "업데이트",
              "윈도우"
            ],
            "answer": "윈도우 업데이트는 매달 둘째 주 수요일 밤에 자동으로 설치됩니다. 끝나면 다시 시작합니다."
          },
          {
            "id": "FAQ-206",
            "title": "화상회의 장비 대여",
            "keywords": [
              "화상회의",
              "카메라"
            ],
            "answer": "화상회의 카메라와 마이크는 각 층 비품실에서 빌리고 같은 날 돌려줍니다."
          },
          {
            "id": "FAQ-207",
            "title": "사내 메신저 설치",
            "keywords": [
              "메신저"
            ],
            "answer": "사내 메신저는 IT 포털(https://intra.example.com/msg)에서 받아 설치합니다."
          },
          {
            "id": "FAQ-208",
            "title": "공유 드라이브 권한",
            "keywords": [
              "공유 드라이브",
              "권한"
            ],
            "answer": "공유 드라이브 권한은 팀장이 IT 포털에서 신청하면 하루 안에 열립니다."
          },
          {
            "id": "FAQ-209",
            "title": "보안 사고 신고",
            "keywords": [
              "보안",
              "신고"
            ],
            "answer": "보안 사고는 security.desk@example.com 으로 바로 메일을 보내 주세요."
          },
          {
            "id": "FAQ-210",
            "title": "모니터 밝기 조절",
            "keywords": [
              "밝기"
            ],
            "answer": "연차 휴가는 입사 1년 뒤부터 15일이며 인사 포털에서 신청합니다."
          }
        ]
      }
    ← response HTTP 422
      {
        "error": "batch rejected",
        "batch": "B-2",
        "invalid_ratio": 0.1,
        "max_invalid_ratio": 0.05,
        "codes": {
          "pii": 1
        }
      }
✔ B-2 · 기준 0.1 · 나쁜 줄이 딱 10% → 받음 · 8.7s
    → request  POST /webhook/my-faq-import
      {
        "max_invalid_ratio": 0.1,
        "batch": "B-2",
        "items": [
          {
            "id": "FAQ-201",
            "title": "회의실 예약",
            "keywords": [
              "회의실",
              "예약"
            ],
            "answer": "사내 포털의 '회의실 예약' 메뉴에서 날짜 · 시간 · 인원을 적어 예약합니다."
          },
          {
            "id": "FAQ-202",
            "title": "출입증 재발급",
            "keywords": [
              "출입증",
              "재발급"
            ],
            "answer": "출입증을 잃어버렸으면 총무팀에 신분증을 가지고 가서 재발급을 신청합니다."
          },
          {
            "id": "FAQ-203",
            "title": "노트북 반납",
            "keywords": [
              "노트북",
              "반납"
            ],
            "answer": "퇴사 5영업일 전까지 IT팀에 노트북과 충전기를 반납합니다."
          },
          {
            "id": "FAQ-204",
            "title": "모니터 추가 신청",
            "keywords": [
              "모니터",
              "추가"
            ],
            "answer": "IT 포털의 '장비 신청'에서 모니터 추가를 신청하면 재고 확인 뒤 지급합니다."
          },
          {
            "id": "FAQ-205",
            "title": "윈도우 업데이트",
            "keywords": [
              "업데이트",
              "윈도우"
            ],
            "answer": "윈도우 업데이트는 매달 둘째 주 수요일 밤에 자동으로 설치됩니다. 끝나면 다시 시작합니다."
          },
          {
            "id": "FAQ-206",
            "title": "화상회의 장비 대여",
            "keywords": [
              "화상회의",
              "카메라"
            ],
            "answer": "화상회의 카메라와 마이크는 각 층 비품실에서 빌리고 같은 날 돌려줍니다."
          },
          {
            "id": "FAQ-207",
            "title": "사내 메신저 설치",
            "keywords": [
              "메신저"
            ],
            "answer": "사내 메신저는 IT 포털(https://intra.example.com/msg)에서 받아 설치합니다."
          },
          {
            "id": "FAQ-208",
            "title": "공유 드라이브 권한",
            "keywords": [
              "공유 드라이브",
              "권한"
            ],
            "answer": "공유 드라이브 권한은 팀장이 IT 포털에서 신청하면 하루 안에 열립니다."
          },
          {
            "id": "FAQ-209",
            "title": "보안 사고 신고",
            "keywords": [
              "보안",
              "신고"
            ],
            "answer": "보안 사고는 security.desk@example.com 으로 바로 메일을 보내 주세요."
          },
          {
            "id": "FAQ-210",
            "title": "모니터 밝기 조절",
            "keywords": [
              "밝기"
            ],
            "answer": "연차 휴가는 입사 1년 뒤부터 15일이며 인사 포털에서 신청합니다."
          }
        ]
      }
    ← response HTTP 200
      {
        "batch": "B-2",
        "total": 10,
        "imported": 8,
        "quarantined": 2,
        "rejected": false,
        "score": 0.8,
        "max_invalid_ratio": 0.1,
        "codes": {
          "pii": 1,
          "llm_mismatch": 1
        },
        "imported_ids": [
          "FAQ-201",
          "FAQ-202",
          "FAQ-203",
          "FAQ-204",
          "FAQ-205",
          "FAQ-206",
          "FAQ-207",
          "FAQ-208"
        ],
        "quarantined_ids": [
          "FAQ-209",
          "FAQ-210"
        ]
      }
✔ 격리함이 13줄 (B-1 11 + B-2 2) · 0.0s
    → request  POST http://localhost:8800/quarantine/list
      {}
    ← response HTTP 200
      {
        "size": 13,
        "items": [
          {
            "row_id": "FAQ-103",
            "batch": "B-1",
            "row": {
              "id": "FAQ-103",
              "title": "",
              "keywords": [
                "출입증"
              ],
              "answer": "출입증을 잃어버렸으면 총무팀에 재발급을 신청합니다."
            },
            "errors": [
              "title_missing"
            ],
            "at": "2026-11-01T18:12:39"
          },
          {
            "row_id": "FAQ-10",
            "batch": "B-1",
            "row": {
              "id": "FAQ-10",
              "title": "노트북 반납",
              "keywords": [
                "노트북",
                "반납"
              ],
              "answer": "퇴사 5영업일 전까지 IT팀에 노트북을 반납합니다."
            },
            "errors": [
              "id_format"
            ],
            "at": "2026-11-01T18:12:39"
          },
          {
            "row_id": "FAQ-105",
            "batch": "B-1",
            "row": {
              "id": "FAQ-105",
              "title": "모니터 추가 신청",
              "keywords": [
                "모니터"
              ],
              "answer": ""
            },
            "errors": [
              "answer_missing"
            ],
            "at": "2026-11-01T18:12:39"
          },
          {
            "row_id": "FAQ-106",
            "batch": "B-1",
            "row": {
              "id": "FAQ-106",
              "title": "회의실 예약 규칙",
              "keywords": [
                "회의실 규칙"
              ],
              "answer": "회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. 회의실은 사내 포털의 '회의실 예약' 메뉴에서 날짜와 시간을 고른 뒤 인원과 목적을 적어 예약합니다. "
            },
            "errors": [
              "answer_too_long"
            ],
            "at": "2026-11-01T18:12:39"
          },
          {
            "row_id": "FAQ-113",
            "batch": "B-1",
            "row": {
              "id": "FAQ-113",
              "title": "프린터 토너 교체",
              "keywords": [
                "토너"
              ],
              "answer": "메일함 용량이 꽉 차면 오래된 메일을 보관함으로 옮겨 용량을 확보합니다."
            },
            "errors": [
              "llm_mismatch"
            ],
            "at": "2026-11-01T18:12:40"
          },
          {
            "row_id": "FAQ-108",
            "batch": "B-1",
            "row": {
              "id": "FAQ-108",
              "title": "화상회의 장비",
              "keywords": [],
              "answer": "화상회의 장비는 각 층 비품실에서 빌릴 수 있습니다."
            },
            "errors": [
              "keywords_missing"
            ],
            "at": "2026-11-01T18:12:40"
          },
          {
            "row_id": "FAQ-003",
            "batch": "B-1",
            "row": {
              "id": "FAQ-003",
              "title": "VPN 접속 오류 (새 판)",
              "keywords": [
                "재택근무"
              ],
              "answer": "VPN 클라이언트를 최신으로 업데이트하고 인증서를 확인합니다."
            },
            "errors": [
              "exists_id"
            ],
            "at": "2026-11-01T18:12:40"
          },
          {
            "row_id": "FAQ-109",
            "batch": "B-1",
            "row": {
              "id": "FAQ-109",
              "title": "보안 사고 신고",
              "keywords": [
                "보안",
                "신고"
              ],
              "answer": "보안 사고는 IT팀 김민지(010-1234-5678)에게 바로 전화해 주세요."
            },
            "errors": [
              "pii"
            ],
            "at": "2026-11-01T18:12:40"
          },
          {
            "row_id": "FAQ-110",
            "batch": "B-1",
            "row": {
              "id": "FAQ-110",
              "title": "사내 메신저 설치",
              "keywords": [
                "메신저"
              ],
              "answer": "사내 메신저는 http://bit.ly/corp-msg 에서 받아 설치합니다."
            },
            "errors": [
              "external_link"
            ],
            "at": "2026-11-01T18:12:40"
          },
          {
            "row_id": "FAQ-112",
            "batch": "B-1",
            "row": {
              "id": "FAQ-112",
              "title": "VPN 접속 오류",
              "keywords": [
                "vpn",
                "재택근무"
              ],
              "answer": "재택근무 중 VPN이 끊기면 클라이언트를 다시 시작하고 인증서 만료일을 확인합니다."
            },
            "errors": [
              "same_title"
            ],
            "at": "2026-11-01T18:12:40"
          },
          {
            "row_id": "FAQ-102",
            "batch": "B-1",
            "row": {
              "id": "FAQ-102",
              "title": "회의실 예약 (중복)",
              "keywords": [
                "회의실"
              ],
              "answer": "사내 포털에서 회의실을 예약합니다. 취소도 같은 메뉴에서 합니다."
            },
            "errors": [
              "duplicate_in_batch"
            ],
            "at": "2026-11-01T18:12:40"
          },
          {
            "row_id": "FAQ-210",
            "batch": "B-2",
            "row": {
              "id": "FAQ-210",
              "title": "모니터 밝기 조절",
              "keywords": [
                "밝기"
              ],
              "answer": "연차 휴가는 입사 1년 뒤부터 15일이며 인사 포털에서 신청합니다."
            },
            "errors": [
              "llm_mismatch"
            ],
            "at": "2026-11-01T18:12:48"
          },
          {
            "row_id": "FAQ-209",
            "batch": "B-2",
            "row": {
              "id": "FAQ-209",
              "title": "보안 사고 신고",
              "keywords": [
                "보안",
                "신고"
              ],
              "answer": "보안 사고는 security.desk@example.com 으로 바로 메일을 보내 주세요."
            },
            "errors": [
              "pii"
            ],
            "at": "2026-11-01T18:12:49"
          }
        ]
      }
Passed 6/6
report: runs/lab02-gate-20261101-181249.json

$ uv run tools/flow.py quality
FAQ: 14  (FAQ-202, FAQ-201, FAQ-203, FAQ-204, FAQ-205, FAQ-207, FAQ-208, FAQ-206)
quarantine: 13
  B-1  FAQ-108  keywords_missing
  B-1  FAQ-003  exists_id
  B-1  FAQ-109  pii
  B-1  FAQ-110  external_link
  B-1  FAQ-112  same_title
  B-1  FAQ-102  duplicate_in_batch
  B-2  FAQ-210  llm_mismatch
  B-2  FAQ-209  pii
quality log: 0
alerts: 0