69일차 자료 갱신: flow.py test -v, 개요 그림·데이터 예시, Lab 03 예제 1 지금 결과 (정답본 제외)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
mcchaeandClaude Opus 5.5 committed
1 parent
17242dc34a
commit
160967b005
10 files changed
+133
-36
No files matched your search
@@ -10,7 +10,7 @@
|
||||
4. 끝나면 한국어로 짧게 보고한다: 바꾼 노드, check 결과, 그리고 사람이 실행할 명령 두 줄.
|
||||
```bash
|
||||
uv run tools/flow.py push my-work/<이름>.json
|
||||
uv run tools/flow.py test cases/<요청에 나온 테스트 파일>.json
|
||||
uv run tools/flow.py test cases/<요청에 나온 테스트 파일>.json -v
|
||||
```
|
||||
5. **push와 test는 사람이 실행해 결과를 확인한다.** 사람이 "네가 push·test까지 해"라고 하면 직접 실행해도 된다 (push는 약 10초, n8n이 잠깐 재시작됨).
|
||||
6. 사람이 실패 보고서(`runs/*.json`)를 알려 주면 실패한 케이스의 요청·응답을 읽고 원인을 설명한 뒤 고친다. **같은 곳을 3번 고쳐도 실패하면 멈추고** 다른 방법을 제안한다.
|
||||
@@ -165,7 +165,7 @@
|
||||
```
|
||||
- 필드 이름은 점으로 내려간다: `issues.0.code` = `issues` 첫 항목의 `code`.
|
||||
- `equals`: 값이 같아야 함 · `contains`: 목록 중 **하나라도** 들어 있어야 함 (배열·객체는 JSON 글자로 바꿔 찾음) · `not_contains`: 하나도 없어야 함 · `status`: HTTP 코드(기본 200)
|
||||
- `uv run tools/flow.py test <파일> --repeat 3`: LLM 답은 매번 조금씩 다르므로 3번 이상 돌려 본다.
|
||||
- `uv run tools/flow.py test <파일> -v --repeat 3`: LLM 답은 매번 조금씩 다르므로 3번 이상 돌려 본다. `-v`(`--verbose`)는 케이스마다 보낸 요청 JSON과 받은 응답 JSON을 화면에 보여 준다 (보고서 `runs/*.json`에도 같은 것이 남음).
|
||||
- **테스트를 통과시키려고 테스트 파일의 기대 결과를 바꾸지 않는다.** 기대 결과가 틀렸다고 생각되면 사람에게 묻는다.
|
||||
|
||||
## 9. 하지 말 것
|
||||
|
||||
@@ -149,7 +149,7 @@ HTTP 400
|
||||
```bash
|
||||
uv run tools/flow.py push my-work/writer.json
|
||||
uv run tools/flow.py call my-writer requests/notice-mail.json # ③과 같은 모양인가
|
||||
uv run tools/flow.py test cases/lab01.json --repeat 3 # 수업 준비 때 5/5
|
||||
uv run tools/flow.py test cases/lab01.json -v --repeat 3 # 수업 준비 때 5/5
|
||||
uv run tools/flow.py call my-writer requests/notice-phone.json # 관찰
|
||||
```
|
||||
|
||||
@@ -276,7 +276,7 @@ HTTP 400
|
||||
```bash
|
||||
uv run tools/flow.py push my-work/reviewer.json
|
||||
uv run tools/flow.py call my-reviewer requests/review-personal-info.json # ③과 같은 모양인가
|
||||
uv run tools/flow.py test cases/lab01-challenge.json --repeat 3 # 수업 준비 때 6/6
|
||||
uv run tools/flow.py test cases/lab01-challenge.json -v --repeat 3 # 수업 준비 때 6/6
|
||||
```
|
||||
|
||||
<details><summary>▶ 1단계 · 규칙과 LLM을 어디서 나누나</summary>
|
||||
|
||||
@@ -153,7 +153,7 @@ HTTP 400
|
||||
```bash
|
||||
uv run tools/flow.py push my-work/notice.json
|
||||
uv run tools/flow.py call my-notice requests/notice-phone.json # ③과 같은 모양인가
|
||||
uv run tools/flow.py test cases/lab02.json # 수업 준비 때 4/4 (처음엔 검토자 거짓 경보로 3/4)
|
||||
uv run tools/flow.py test cases/lab02.json -v # 수업 준비 때 4/4 (처음엔 검토자 거짓 경보로 3/4)
|
||||
```
|
||||
|
||||
**관찰**: `notice-phone`에서 고쳐 쓴 공지를 처음 초안과 비교해 봅니다. 전화번호만 빠졌나요, 다른 것도 바뀌었나요? n8n **Executions**에서 `my-notice` 한 번에 `my-writer`, `my-reviewer` 실행이 몇 개씩 생겼나요?
|
||||
@@ -246,8 +246,8 @@ HTTP 200 · 5.8s
|
||||
```bash
|
||||
uv run tools/flow.py push my-work/notice.json
|
||||
uv run tools/flow.py call my-notice requests/notice-mail.json # ③과 같은 모양인가
|
||||
uv run tools/flow.py test cases/lab02-challenge.json --repeat 3 # 수업 준비 때 4/4
|
||||
uv run tools/flow.py test cases/lab02.json # 4/4 그대로
|
||||
uv run tools/flow.py test cases/lab02-challenge.json -v --repeat 3 # 수업 준비 때 4/4
|
||||
uv run tools/flow.py test cases/lab02.json -v # 4/4 그대로
|
||||
```
|
||||
|
||||
<details><summary>▶ 1단계 · Fork-Join</summary>
|
||||
|
||||
@@ -24,7 +24,7 @@ flowchart LR
|
||||
- 명령은 모두 `~/aio-01d4-stu/Last3Mon/69`에서 실행합니다.
|
||||
- `uv run tools/flow.py call <웹훅 경로> <요청>`은 `http://localhost:5678/webhook/<경로>`로 POST를 보내고, 첫 줄에 `HTTP 코드 · 걸린 시간`, 그 아래 응답 JSON을 보여 줍니다. `<요청>`은 `requests/` 파일이거나 `'{"facts": "..."}'` 같은 JSON 글자입니다.
|
||||
- 웹훅 경로 ([AGENTS.md](AGENTS.md) 3절): 공지 팀 `my-notice` (`my-work/notice.json`), 작성자 `my-writer`, 검토자 `my-reviewer`.
|
||||
- 아래 "지금 결과"와 "나와야 할 결과"는 수업 준비 때 Lab 02 예제 정답(`reference/lab02-example2-pipeline.json`)으로 실제로 돌린 값입니다. Lab 02 과제까지 했다면 응답에 `title` · `chat`도 붙어 있습니다. LLM 답 문장과 시간은 조금씩 다를 수 있습니다.
|
||||
- 아래 "지금 결과"와 "나와야 할 결과"는 수업 준비 때(10/18, 수업 전날 10/20) Lab 02 예제 정답(`reference/lab02-example2-pipeline.json`)으로 실제로 돌린 값입니다. Lab 02 과제까지 했다면 응답에 `title` · `chat`도 붙어 있습니다. LLM 답 문장과 시간은 조금씩 다를 수 있습니다.
|
||||
|
||||
---
|
||||
|
||||
@@ -71,30 +71,46 @@ HTTP 200 · 2.0s
|
||||
}
|
||||
```
|
||||
|
||||
공지는 맞습니다. 그런데 **누가 어떤 순서로 일했는지**가 없습니다. 프린터 공지는 수업 준비 때 두 번 돌려 두 번 모두 `담당자 확인`이었는데, 이유가 달랐습니다.
|
||||
공지는 맞습니다. 그런데 **누가 어떤 순서로 일했는지**가 없습니다. 프린터 공지도 봅니다.
|
||||
|
||||
```bash
|
||||
uv run tools/flow.py call my-notice requests/notice-phone.json
|
||||
```
|
||||
|
||||
| 실행 | 결과 (요약) | 고쳐 쓴 공지의 마지막 줄 | 두 번째 검토 |
|
||||
지금 `reference/`의 작성자 · 검토자로 돌리면 (수업 전날 2026-10-20 실행) 이렇게 나옵니다.
|
||||
|
||||
```text
|
||||
HTTP 200 · 5.2s
|
||||
{
|
||||
"route": "수정 후 게시 가능",
|
||||
"published": true,
|
||||
"rounds": 2,
|
||||
"notice": "[프린터 드라이버 일괄 업데이트 안내]\n\n- 10월 30일(목) 18:00~19:00 사내 프린터 드라이버가 일괄 업데이트됩니다.\n- 업데이트 시간 동안 프린터 출력이 불가합니다.\n- 문의는 IT팀 김민지에게 연락 바랍니다.",
|
||||
"codes": [],
|
||||
"first_codes": ["personal_info"]
|
||||
}
|
||||
```
|
||||
|
||||
결과는 맞지만, 고쳐 쓰기를 거쳤다는 것은 `rounds: 2`로 짐작할 뿐입니다. 그리고 같은 요청이 **언제나 이렇게 끝나지는 않습니다.** 수업 준비 때(10/18) 작성자 · 검토자를 다듬기 전 판으로 두 번 돌렸더니 두 번 모두 `담당자 확인`이었고, 이유가 달랐습니다.
|
||||
|
||||
| 실행 (10/18) | 결과 (요약) | 고쳐 쓴 공지의 마지막 줄 | 두 번째 검토 |
|
||||
| --- | --- | --- | --- |
|
||||
| 1 | `"route": "담당자 확인"`, `"rounds": 2`, `"first_codes": ["personal_info"]`, `"codes": ["unsupported_claim"]` | `- 문의: IT팀 김민지` | 사실에 있는 이름을 "사실에 없는 연락처"로 잡음 |
|
||||
| 2 | 위와 같음 | `- 문의: IT팀 김민지 (내선 1234)` | 작성자가 **지어낸 내선 번호**를 잡음 |
|
||||
|
||||
`first_codes`, `codes`가 있어도 결과만 보면 둘은 똑같습니다.
|
||||
`first_codes`, `codes`가 있어도 결과만 보면 둘은 똑같습니다. 내가 만든 작성자 · 검토자로도 이런 일이 생길 수 있습니다.
|
||||
|
||||
### ③ 원인 · 결과를 만드는 노드와 역할을 직접 보기
|
||||
|
||||
- n8n에서 `my-notice` 워크플로우를 열어 결과를 만드는 Set 노드 셋(`Approved`, `Approved after revision`, `Needs person`)을 봅니다. **어느 길로 왔는지** 적는 칸이 없습니다.
|
||||
- 위 두 실행이 왜 달랐는지는 **역할을 하나씩** 불러 봐야 압니다. 고쳐 쓴 공지를 검토자에게 직접 보냅니다.
|
||||
- 10/18의 두 실행이 왜 달랐는지는 **역할을 하나씩** 불러 봐야 압니다. 고쳐 쓴 공지를 검토자에게 직접 보냅니다.
|
||||
|
||||
```bash
|
||||
uv run tools/flow.py call my-reviewer '{"facts": "10월 30일(목) 18:00~19:00 사내 프린터 드라이버 일괄 업데이트. 업데이트 중에는 출력이 안 됨. 문의는 IT팀 김민지(010-1234-5678, minji.kim@example.com).", "draft": "[프린터 드라이버 업데이트 안내]\n- 10월 30일(목) 18:00~19:00 사내 프린터 드라이버 일괄 업데이트 진행\n- 업데이트 시간 동안 프린터 출력 불가\n- 문의: IT팀 김민지"}'
|
||||
```
|
||||
|
||||
```text
|
||||
라우터 없이 본 흐름
|
||||
역할별로 본 흐름 (10/18의 두 실행)
|
||||
공지 팀 Write draft → Review draft (personal_info) → Revise draft → Review again → Needs person
|
||||
실행 1 Revise draft는 번호를 잘 지움 → Review again이 맞는 문장을 의심 → 검토자를 고칠 일
|
||||
실행 2 Revise draft가 "(내선 1234)"를 새로 만듦 → Review again이 제대로 잡음 → 작성자를 고칠 일
|
||||
@@ -148,8 +164,8 @@ HTTP 200 · 3.9s
|
||||
```bash
|
||||
uv run tools/flow.py push my-work/notice.json
|
||||
uv run tools/flow.py call my-notice requests/notice-phone.json # ④와 같은 모양인가
|
||||
uv run tools/flow.py test cases/lab03.json # 고치기 전 1/3 → 3/3
|
||||
uv run tools/flow.py test cases/lab02.json # 4/4 그대로
|
||||
uv run tools/flow.py test cases/lab03.json -v # 고치기 전 1/3 → 3/3
|
||||
uv run tools/flow.py test cases/lab02.json -v # 4/4 그대로
|
||||
```
|
||||
|
||||
<details><summary>▶ 1단계 · 왜 기록을 남기나</summary>
|
||||
@@ -248,11 +264,11 @@ HTTP 200 · 2.5s
|
||||
```bash
|
||||
uv run tools/flow.py push my-work/notice.json
|
||||
uv run tools/flow.py call my-notice requests/notice-mail.json # ④와 같은 모양인가
|
||||
uv run tools/flow.py test cases/lab03-down.json # 고치기 전 0/2 → 2/2
|
||||
uv run tools/flow.py test cases/lab03-down.json -v # 고치기 전 0/2 → 2/2
|
||||
|
||||
uv run tools/flow.py push my-work/reviewer.json # 검토자 다시 켜기
|
||||
uv run tools/flow.py test cases/lab02.json # 4/4
|
||||
uv run tools/flow.py test cases/lab03.json --repeat 3 # 예제 1이 그대로인지
|
||||
uv run tools/flow.py test cases/lab02.json -v # 4/4
|
||||
uv run tools/flow.py test cases/lab03.json -v --repeat 3 # 예제 1이 그대로인지
|
||||
```
|
||||
|
||||
<details><summary>▶ 1단계 · 멈추되 500은 아니게</summary>
|
||||
@@ -329,9 +345,9 @@ uv run tools/flow.py call my-notice '{"request": "공지 써 주세요", "facts"
|
||||
### 단일 Agent와 비교
|
||||
|
||||
```bash
|
||||
uv run tools/flow.py test cases/my-cases.json --repeat 3 # 내 공지 팀
|
||||
uv run tools/flow.py test cases/my-cases.json -v --repeat 3 # 내 공지 팀
|
||||
uv run tools/flow.py push reference/lab03-single-agent.json # AI 하나짜리 (웹훅 my-single)
|
||||
uv run tools/flow.py test cases/my-cases.json --webhook my-single --repeat 3 # 같은 테스트
|
||||
uv run tools/flow.py test cases/my-cases.json -v --webhook my-single --repeat 3 # 같은 테스트
|
||||
uv run tools/flow.py call my-single requests/notice-phone.json
|
||||
```
|
||||
|
||||
@@ -379,7 +395,7 @@ uv run tools/flow.py call my-reviewer '{"facts": "<그 케이스의 facts>", "dr
|
||||
|
||||
| 단계 | 요청 | 지금 | 원인 (직접 call로 확인) | 나와야 할 결과 |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| 예제 1 | 메일 · 프린터 공지 | 200, `steps` 없음. 프린터는 `담당자 확인` (이유 둘) | 결과 노드에 기록 칸이 없음. 고쳐 쓴 공지를 검토자에게 직접 보내 역할을 구별 | 200, `steps` 2개 · 4개, 프린터는 `수정 후 게시 가능` |
|
||||
| 예제 1 | 메일 · 프린터 공지 | 200, `steps` 없음. 프린터는 `수정 후 게시 가능`, 예전 판에서는 `담당자 확인` (이유 둘) | 결과 노드에 기록 칸이 없음. 고쳐 쓴 공지를 검토자에게 직접 보내 역할을 구별 | 200, `steps` 2개 · 4개, 프린터는 `수정 후 게시 가능` |
|
||||
| 예제 2 | 검토자 꺼짐 | 500, 초안도 사라짐 | 검토자 404에 공지 팀이 멈춤 | 200, `published: false`, `reason`에 "검토자" |
|
||||
| 과제 예 A | 공백만 | 200 `게시 가능` (빈 공지가 나감) | 공백도 "비어 있지 않음" | 400 |
|
||||
| 과제 예 B | 사실 안에 지시문 | 200, 번호 없음 (통과) | 규칙 검사는 지시문을 읽지 않음 | 그대로 유지 |
|
||||
|
||||
@@ -86,8 +86,8 @@ flowchart LR
|
||||
| 순서 | 할 일 | 파일 · 웹훅 | 확인 |
|
||||
| --- | --- | --- | --- |
|
||||
| 예제 1 (10분, 에이전트 없이) | `cp templates/ROLE-DESIGN-TEMPLATE.md my-work/DESIGN.md` 후 1절 역할 카드를 **직접** (특히 "하지 않는 일") | | 표 |
|
||||
| 예제 2 (15분) | 작성자: 공지 요청 → 공지 초안 (검토는 안 함) | `my-work/writer.json` · `my-writer` | `push my-work/writer.json` → `test cases/lab01.json --repeat 3`, `call my-writer requests/notice-phone.json` |
|
||||
| 과제 (15분) | 검토자: 날짜·시간 빠짐 · 개인 연락처 · 길이는 **코드로**, 사실에 없는 약속만 AI가 | `my-work/reviewer.json` · `my-reviewer` | `push my-work/reviewer.json` → `test cases/lab01-challenge.json --repeat 3` |
|
||||
| 예제 2 (15분) | 작성자: 공지 요청 → 공지 초안 (검토는 안 함) | `my-work/writer.json` · `my-writer` | `push my-work/writer.json` → `test cases/lab01.json -v --repeat 3`, `call my-writer requests/notice-phone.json` |
|
||||
| 과제 (15분) | 검토자: 날짜·시간 빠짐 · 개인 연락처 · 길이는 **코드로**, 사실에 없는 약속만 AI가 | `my-work/reviewer.json` · `my-reviewer` | `push my-work/reviewer.json` → `test cases/lab01-challenge.json -v --repeat 3` |
|
||||
|
||||
(명령 앞에는 모두 `uv run tools/flow.py`가 붙습니다.)
|
||||
|
||||
@@ -100,8 +100,8 @@ flowchart LR
|
||||
| 순서 | 할 일 | 파일 · 웹훅 | 확인 |
|
||||
| --- | --- | --- | --- |
|
||||
| 예제 1 (10분) | 작성자 · 검토자의 계약 맞추기 (서로 부를 수 있게) | | `push my-work/writer.json my-work/reviewer.json`, `call my-writer requests/notice-phone.json`, `call my-reviewer requests/review-personal-info.json` |
|
||||
| 예제 2 (25분) | 공지 팀: 작성자 → 검토자, 통과 못 하면 의견을 주어 **한 번** 고쳐 쓰고 다시 검토 | `my-work/notice.json` · `my-notice` (오늘 끝까지 고쳐 나감) | `push my-work/notice.json` → `test cases/lab02.json`, `call my-notice requests/notice-phone.json` |
|
||||
| 과제 (35분, 4교시) | 통과한 공지로 메일 제목 한 줄 · 메신저용 짧은 글을 두 정리자가 나눠 만들고 모으기 (Fork-Join) | `my-work/notice.json` 고치기 | `test cases/lab02-challenge.json --repeat 3`, `test cases/lab02.json` |
|
||||
| 예제 2 (25분) | 공지 팀: 작성자 → 검토자, 통과 못 하면 의견을 주어 **한 번** 고쳐 쓰고 다시 검토 | `my-work/notice.json` · `my-notice` (오늘 끝까지 고쳐 나감) | `push my-work/notice.json` → `test cases/lab02.json -v`, `call my-notice requests/notice-phone.json` |
|
||||
| 과제 (35분, 4교시) | 통과한 공지로 메일 제목 한 줄 · 메신저용 짧은 글을 두 정리자가 나눠 만들고 모으기 (Fork-Join) | `my-work/notice.json` 고치기 | `test cases/lab02-challenge.json -v --repeat 3`, `test cases/lab02.json -v` |
|
||||
|
||||
- 볼 것: 고쳐 쓴 공지에서 전화번호만 빠졌나요, 다른 것도 바뀌었나요? Executions에서 두 정리자 노드의 시작·끝 시각: **정말 동시에 돌았나요?** `DESIGN.md`에 적습니다.
|
||||
|
||||
@@ -111,9 +111,9 @@ flowchart LR
|
||||
|
||||
| 순서 | 할 일 | 확인 |
|
||||
| --- | --- | --- |
|
||||
| 예제 1 (20분) | 결과만 보고 협업 과정을 알 수 있게 기록 (`rounds`, `steps`, `first_codes`). `steps`는 LLM이 아니라 워크플로우가 | `push my-work/notice.json` → `test cases/lab03.json` |
|
||||
| 예제 2 (20분) | 검토자가 꺼지면 **게시하지 않기** (fail-closed) | `off my-reviewer` → `test cases/lab03-down.json`, 고친 뒤 **다시 켜기** `push my-work/reviewer.json` → `test cases/lab02.json`, `test cases/lab03.json --repeat 3` |
|
||||
| 과제 (40분, 6교시) | 어려운 케이스 `cases/my-cases.json`, 같은 테스트로 AI 하나짜리(단일 Agent)와 숫자로 비교 | `test cases/my-cases.json --repeat 3`, `push reference/lab03-single-agent.json`, `test cases/my-cases.json --webhook my-single --repeat 3` |
|
||||
| 예제 1 (20분) | 결과만 보고 협업 과정을 알 수 있게 기록 (`rounds`, `steps`, `first_codes`). `steps`는 LLM이 아니라 워크플로우가 | `push my-work/notice.json` → `test cases/lab03.json -v` |
|
||||
| 예제 2 (20분) | 검토자가 꺼지면 **게시하지 않기** (fail-closed) | `off my-reviewer` → `test cases/lab03-down.json -v`, 고친 뒤 **다시 켜기** `push my-work/reviewer.json` → `test cases/lab02.json -v`, `test cases/lab03.json -v --repeat 3` |
|
||||
| 과제 (40분, 6교시) | 어려운 케이스 `cases/my-cases.json`, 같은 테스트로 AI 하나짜리(단일 Agent)와 숫자로 비교 | `test cases/my-cases.json -v --repeat 3`, `push reference/lab03-single-agent.json`, `test cases/my-cases.json -v --webhook my-single --repeat 3` |
|
||||
|
||||
- 먼저 생각해 보기: 68일차에는 Agent가 꺼져도 나머지 답을 **계속** 냈습니다. 오늘은 왜 **멈춰야** 할까요?
|
||||
- 보고서: `cp templates/TEST-REPORT-TEMPLATE.md my-work/TEST-REPORT.md` 후 채우기.
|
||||
|
||||
@@ -76,4 +76,4 @@ cd ~/aio-01d4-stu/Last3Mon/69 && uv run tools/flow.py doctor # 마지막 줄
|
||||
| `uv run tools/flow.py push my-work/writer.json my-work/reviewer.json` | 여러 파일을 가져오기 → 게시 → n8n 재시작 한 번 | |
|
||||
| `uv run tools/flow.py off my-reviewer` | 그 웹훅을 쓰는 워크플로우 게시 해제 (역할이 꺼진 상황). 다시 켜기는 `push` | |
|
||||
| `uv run tools/flow.py call my-notice requests/notice-phone.json` | 요청 한 번 보내고 응답 보기 | 공지 팀 2~6초 |
|
||||
| `uv run tools/flow.py test cases/lab02.json` | 테스트 실행, 보고서를 `runs/`에 저장 | 케이스당 1~6초 |
|
||||
| `uv run tools/flow.py test cases/lab02.json -v` | 테스트 실행, 보고서를 `runs/`에 저장. `-v`는 케이스마다 보낸 요청 JSON과 받은 응답 JSON을 화면에 보여 줌 | 케이스당 0~7초 (빈 요청 0초, 고쳐 쓰기 + 정리자 약 7초) |
|
||||
@@ -9,7 +9,7 @@
|
||||
uv run tools/flow.py push my-work/writer.json my-work/reviewer.json # import + publish (one n8n restart)
|
||||
uv run tools/flow.py off my-reviewer # unpublish by file or webhook path (a role that is down)
|
||||
uv run tools/flow.py call my-notice requests/notice-mail.json
|
||||
uv run tools/flow.py test cases/lab02.json [--repeat 3]
|
||||
uv run tools/flow.py test cases/lab02.json -v [--repeat 3] # -v: show each request and response JSON
|
||||
|
||||
Run it from the day folder (Last3Mon/69). n8n is the day 65 install (~/day65-n8n, Docker project
|
||||
day65-n8n), started from Last3Mon/65/n8n. Environment overrides:
|
||||
@@ -494,6 +494,14 @@ def judge(expect: dict, status: int, payload: object) -> list[str]:
|
||||
return problems
|
||||
|
||||
|
||||
def show_json(label: str, value: object) -> None:
|
||||
"""Print one JSON value under a label, indented below the case line (test -v)."""
|
||||
text = json.dumps(value, ensure_ascii=False, indent=2) if not isinstance(value, str) else value
|
||||
print(f" {label}")
|
||||
for row in text.splitlines():
|
||||
print(f" {row}")
|
||||
|
||||
|
||||
def cmd_test(args: argparse.Namespace) -> int:
|
||||
path = resolve(args.cases)
|
||||
suite = load_json(path)
|
||||
@@ -513,6 +521,9 @@ def cmd_test(args: argparse.Namespace) -> int:
|
||||
mark = OK if not problems else BAD
|
||||
suffix = f" #{run}" if args.repeat > 1 else ""
|
||||
print(f"{mark} {case.get('name', '?')}{suffix} · {seconds:.1f}s" + ("" if not problems else " · " + "; ".join(problems)))
|
||||
if args.verbose:
|
||||
show_json(f"→ request POST /webhook/{case_hook}", body)
|
||||
show_json(f"← response HTTP {status}", payload)
|
||||
results.append({"case": case.get("name"), "webhook": case_hook, "run": run, "passed": not problems, "problems": problems,
|
||||
"seconds": round(seconds, 1), "status": status, "request": body, "response": payload})
|
||||
total = len(results)
|
||||
@@ -597,6 +608,7 @@ def main() -> int:
|
||||
item.add_argument("cases")
|
||||
item.add_argument("--repeat", type=int, default=1, help="run every case N times")
|
||||
item.add_argument("--webhook", help="override the webhook path in the case file")
|
||||
item.add_argument("-v", "--verbose", action="store_true", help="print the request and response JSON of every run")
|
||||
item.set_defaults(run=cmd_test)
|
||||
args = parser.parse_args()
|
||||
return args.run(args)
|
||||
|
||||
Reference in new issue
Block a user