生成テストだけで測る

まず、生成テストだけを実行して計測する。手書きのテストが混ざると、生成テストの実力がわからなくなるからだ。

PowerShell / bash
gradlew test -PwithGenerated --tests "*OrderServiceGeneratedTest*"

build/reports/jacoco/test/jacocoTestReport.csv の OrderService の行は次のとおりだった。

カウンター手書き(PART 02)生成テストのみ
テスト数1311(うち6件は期待値 TODO で失敗)
分岐(Branches)17 / 17(100%)16 / 17(94.1%)
行(Lines)34 / 34(100%)34 / 34(100%)

期待値が未設定で失敗しているテストも、失敗する前にテスト対象のコードは実行されている。だから計測には意味がある。未達は1分岐だけだった。どこが足りないかを調べる前に、JaCoCo が何を数えているかを確認しておく。

JaCoCo の分岐数と C1 の違い

JaCoCo は、ソースではなく バイトコードの条件ジャンプ命令 を数える。そのため、ソース上の「判定の結果」の数とはずれることがある。OrderService で並べると次のようになる。

OrderServiceの8つの判定について、判定の結果の数とJaCoCoの分岐数を並べた表。B1の

|は2対4、catchは2対0、switchは3対3で、合計はどちらも17|図1: 判定の結果の数と JaCoCo の分岐数

  • || と &&:JaCoCo は条件ごとにジャンプがあるので 2 × 条件数(ここでは 4)と数える。判定の true / false を1回ずつ通すだけでは 3/4 にしかならない。PART 05 で || の true 側を2ケースに分けたのは、このためだ
  • catch:例外ハンドラーはジャンプ命令ではないので分岐に数えない。catch を通ったかどうかは、catch の中の行(43行目)の行カバレッジで確かめる
  • 拡張 for:「次の要素があるか」の判定を数える。要素が1つあれば「ある」と「もうない」の両方を通るので、0回の経路を通らなくても 2/2 になる
  • switch:case ラベルの数ではなく、飛び先の数 で数える。case NEW, PAID は飛び先が1つなので、NEW だけをテストしても PAID の分も「通った」になる

今回は合計がたまたまどちらも 17 になったが、中身は別物だ。JaCoCo の 100% は「C1 も 100%」とほぼ同じ意味になるが、catch と case A, B のように同じ行き先を持つラベルは、JaCoCo では確かめきれない。分岐表(PART 03)と並べて見る理由はここにある。

未達分岐を突き合わせる:coverage_gap.py

JaCoCo の XML レポートには、行ごとの未達分岐数(mb)と通過分岐数(cb)が入っている。分岐表の行番号と照合すれば、未達の行がどの判定かがわかる。さらに生成テストの @DisplayName("[B5] ...") を読めば、その判定を狙ったテストの名前もわかる。

testgen/coverage_gap.py
"""JaCoCo の XML レポートと分岐表を突き合わせ、未達の分岐と、直すべき生成テストを一覧にする

使い方:
  python coverage_gap.py <jacocoTestReport.xml> <src/main/java> <生成テストのルート> [--min 100] [--only クラス名 ...]
"""
import argparse
import re
import sys
import xml.etree.ElementTree as ET
from pathlib import Path
from branches import extract_file


def generated_cases(test_root):
    """生成テストから (クラス, メソッド, 分岐ID) -> [テストメソッド名, TODO の有無] を集める"""
    result = {}
    for path in Path(test_root).rglob("*GeneratedTest.java"):
        cls = path.stem.removesuffix("GeneratedTest")
        method = None
        lines = path.read_text(encoding="utf-8").splitlines()
        for i, line in enumerate(lines):
            m = re.search(r'@DisplayName\("(\w+)"\)', line)
            if m and "class" in lines[i + 1]:
                method = m.group(1)
                continue
            m = re.search(r'@DisplayName\("\[(B\d+)\]', line)
            if m and method:
                name = re.search(r"void (\w+)\(", lines[i + 1]).group(1)
                body = "\n".join(lines[i + 2:i + 12])
                has_input_todo = "入力値を設定してください" in body
                result.setdefault((cls, method, m.group(1)), []).append((name, has_input_todo))
    return result


def main():
    ap = argparse.ArgumentParser()
    ap.add_argument("report")
    ap.add_argument("src_root")
    ap.add_argument("test_root")
    ap.add_argument("--min", type=float, default=100.0, help="分岐カバレッジの下限(%)")
    ap.add_argument("--only", nargs="*", help="対象のクラス名(省略時はレポートの全クラス)")
    args = ap.parse_args()

    cases = generated_cases(args.test_root)
    tree = ET.parse(args.report)
    missed_total = covered_total = 0
    rows = []
    for package in tree.getroot().iter("package"):
        for sf in package.iter("sourcefile"):
            src = Path(args.src_root, package.get("name"), sf.get("name"))
            if not src.exists():
                continue
            cls = sf.get("name").removesuffix(".java")
            if args.only and cls not in args.only:
                continue
            branches = {b.line: b for b in extract_file(src)}
            for line in sf.iter("line"):
                mb, cb = int(line.get("mb")), int(line.get("cb"))
                missed_total += mb
                covered_total += cb
                if mb == 0:
                    continue
                nr = int(line.get("nr"))
                b = branches.get(nr)
                label = f"{b.method} {b.id} {b.kind} {b.condition}" if b else "(分岐表に対応なし)"
                related = cases.get((cls, b.method, b.id), []) if b else []
                rows.append((cls, nr, mb, mb + cb, label, related))

    total = missed_total + covered_total
    rate = 100.0 * covered_total / total if total else 100.0
    print(f"分岐カバレッジ: {covered_total}/{total} = {rate:.1f}%(下限 {args.min:.1f}%)")
    for cls, nr, mb, all_b, label, related in rows:
        print(f"- {cls} L{nr}: {mb}/{all_b} 未達  {label}")
        for name, todo in related:
            print(f"    → {name}{'(入力値の TODO あり)' if todo else ''}")
        if not related:
            print("    → 対応する生成テストなし(主経路側の結果が入力で決まっていない可能性)")
    sys.exit(0 if rate >= args.min else 1)


if __name__ == "__main__":
    main()
PowerShell / bash
python coverage_gap.py ../build/reports/jacoco/test/jacocoTestReport.xml ../src/main/java ../src/test/generated/java

下は、OrderService と PART 08 で使う PointService の生成テストを、まとめて計測した結果だ(gradlew test -PwithGenerated --tests "*GeneratedTest*" のあとに実行)。

実行結果(終了コード 1)
分岐カバレッジ: 30/33 = 90.9%(下限 100.0%)
- PointService L41: 1/2 未達  grant B2 if (total > MAX_POINTS_PER_GRANT)
    → grant_B2_false(入力値の TODO あり)
- PointService L44: 1/2 未達  grant B3 if (total > 0)
    → grant_B3_false(入力値の TODO あり)
- OrderService L38: 1/2 未達  placeOrder B5 ternary order.total() >= 10000
    → placeOrder_B5_true(入力値の TODO あり)

3件とも「入力値の TODO あり」のテストに結び付いた。PART 05 で「決められない」と判断した条件が、そのまま未達として現れている。ジェネレーターが自分で「ここは自信がない」と書いた場所だけが未達になっている ので、直す場所を探す必要はない。

ℹ️ 主経路側が未達になることもある

PointService の total > 0 は、生成されたのが「false 側を狙ったテスト」なのに、未達なのは true 側だ。主経路でも total の値を決められず、既定値の入力(金額 1 円)では合計が 0 ポイントになり、すべてのテストが false 側を通ったからだ。経路に「?」が付いたテストは、狙った側だけでなく反対側も見直す。

TODO を埋めて仕上げる

生成テストを src/test/java にコピーしてクラス名を OrderServiceTest に変え、TODO を1つずつ埋めた。いちばん手がかかる B5 の差分は次のとおり。

diff(OrderServiceGeneratedTest → OrderServiceTest、B5 の部分)
-            // TODO: B5 の条件 `order.total() >= 10000` を true にする入力値を設定してください(自動生成)
             // Arrange
-            OrderLine orderLine = new OrderLine("itemCode-1", 1, 1);
+            OrderLine orderLine = new OrderLine("itemCode-1", 2, 5000);
             String customerId = "customerId-1";
             List<OrderLine> lines = List.of(orderLine);
-            when(stockClient.getStock("itemCode-1")).thenReturn(1);
+            when(stockClient.getStock("itemCode-1")).thenReturn(2);
 ...
-            // TODO: 期待値を設定してください(自動生成:B5 ternary order.total() >= 10000 → true/L38)
-            //       コード上の戻り値: order
+            assertEquals(10000, actual.total());
+            assertEquals(0.05, actual.getDiscountRate());
             verify(orderRepository).save(any(Order.class));
             verify(mailSender).send("customerId-1", "ご注文を受け付けました");
-            fail("TODO: 期待値が未設定です");

明細を「単価 5,000 円 × 2 個 = 10,000 円ちょうど」に変え、数量を 2 にしたので在庫のスタブも 2 に合わせた。PART 02 で人が選んだ境界値と同じになっている。残りの10件は、期待値を書いて fail() を消すだけだった。例外のテストは、assertThrows の戻り値でメッセージを確かめる形にした。

OrderServiceTest.java(主経路・仕上げ後)

        @Test
        @DisplayName("主経路(各分岐の通常側)")
        void placeOrder_mainPath() {
            // 経路: B1 false → B2 false → B3 1回以上 → B4 false → B5 false → B6 例外なし
            // Arrange
            OrderLine orderLine = new OrderLine("itemCode-1", 1, 1);
            String customerId = "customerId-1";
            List<OrderLine> lines = List.of(orderLine);
            when(stockClient.getStock("itemCode-1")).thenReturn(1);

            // Act
            Order actual = sut.placeOrder(customerId, lines);

            // Assert
            assertEquals("customerId-1", actual.getCustomerId());
            assertEquals(LocalDateTime.of(2026, 1, 1, 9, 0), actual.getOrderedAt());
            assertEquals(List.of(orderLine), actual.getLines());
            assertEquals(0.0, actual.getDiscountRate());
            assertFalse(actual.isMailFailed());
            verify(orderRepository).save(any(Order.class));
            verify(mailSender).send("customerId-1", "ご注文を受け付けました");

仕上げにかかった変更は、生成ファイル265行に対して 削除43行・追加28行 だった(diff で数えた値。クラス名とコメントの変更を含む)。実行結果は次のとおり。

PowerShell / bash
gradlew test --tests "*.OrderServiceTest*"
cd testgen
python coverage_gap.py ../build/reports/jacoco/test/jacocoTestReport.xml ../src/main/java ../src/test/generated/java --only OrderService
実行結果
BUILD SUCCESSFUL
分岐カバレッジ: 17/17 = 100.0%(下限 100.0%)

テストは11件すべて成功し、分岐は 17/17 になった。--only は対象のクラスを絞るオプションだ。JaCoCo のレポートには、テストを実行していないクラスも 0% として入っている。そのため、クラスを絞らないと PointService の分まで分母に入ってしまう。

CI に組み込む

CI では、生成テストは実行しない(-PwithGenerated を付けない)。確かめるのは次の2つだ。

  1. 仕上げたテストに自動生成の TODO が残っていない:src/test/java を (自動生成 で検索する。例外のテストは TODO が残っていても成功してしまうので、このチェックが必要になる
  2. 分岐カバレッジが下限以上:coverage_gap.py の --min で下限を決め、下回ったら終了コード 1 で落とす。落ちたときのログに未達の分岐と対応するテスト名が出るので、直す場所がすぐわかる
.github/workflows/unit-test.yml
name: unit-test

on:
  pull_request:
  push:
    branches: [main]

jobs:
  test:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4

      - uses: actions/setup-java@v4
        with:
          distribution: temurin
          java-version: '21'

      - uses: actions/setup-python@v5
        with:
          python-version: '3.12'

      - name: Install testgen dependencies
        run: pip install tree-sitter==0.26.0 tree-sitter-java==0.23.5 jinja2

      - name: No generated TODO left in finished tests
        run: |
          if grep -rn "(自動生成" src/test/java; then
            echo "仕上げたテストに自動生成の TODO が残っています"; exit 1
          fi

      - name: Unit test + JaCoCo
        run: ./gradlew test

      - name: Branch coverage gate (C1)
        run: >
          python testgen/coverage_gap.py
          build/reports/jacoco/test/jacocoTestReport.xml
          src/main/java src/test/generated/java --min 95

      - uses: actions/upload-artifact@v4
        if: always()
        with:
          name: jacoco-report
          path: build/reports/jacoco/test/html

下限を 100% ではなく 95% にしているのは、テストで通す意味の薄い分岐(防御的な null チェックなど)まで追いかけると、テストを書く手間が効果に見合わなくなるからだ。いくつにするかはチームで決めればよい。下限をいきなり高くするより、今の値を下回らないことから始めて少しずつ上げるほうが続けやすい。

✅ 生成し直すタイミング

テスト対象に分岐を追加したら、生成し直して src/test/generated/java との差分を見る。新しい分岐の分だけテスト([B7] ... など)が増えているので、そのテストだけを src/test/java に移して仕上げればよい。分岐 ID はメソッド内の出現順なので、途中に分岐を足すと後ろの ID がずれる点には注意する。

✅ 次の記事では…

PART 08 では、2つ目の題材 PointService にも適用し、計測値をまとめる。生成できない書き方、既定値が招く意味の薄いテスト、LLM との組み合わせ方も整理する。

→ PART 08 — 実践と限界へ