2つのサービスに適用した結果

題材は、PART 02 の注文サービス OrderService と、PART 03 で分岐表だけ作ったポイントサービス PointService だ。PointService は会員ランク(GOLD / SILVER / BRONZE の enum を返す Repository)、キャンペーン判定(boolean を返す外部 API)、ポイント台帳(void の add)に依存し、else if の連鎖と &&、自分自身のメソッド呼び出しを含む。

項目OrderServicePointService
public メソッド / 判定の数2 / 82 / 7
JaCoCo の分岐数1716
生成したテスト(行数)11件(265行)10件(247行)
生成時間(2クラス合計)約 0.2 秒
実行時の Mockito エラー(不要なスタブ・verify の不一致)0件0件
入力値の TODO1件2件(ほかに経路が「?」の主経路など)
生成テストのみの分岐カバレッジ16 / 17(94.1%)14 / 16(87.5%)
仕上げの変更(diff の行数)削除 43 / 追加 28削除 56 / 追加 31
仕上げ後11件成功、17 / 1710件成功、16 / 16

どちらも、テストの骨組み(モックの準備、引数、スタブ、verify)は生成されたものをほぼそのまま使えた。人が書いたのは、主に 期待値 と、ジェネレーターが「決められない」と書いた 入力値 だ。PART 02 の手書きテスト(13件)と比べると、生成版はパラメータ化テストを使わないぶん本数と行数は多い。しかし「どの分岐を通すか」「何をスタブするか」を考える作業は、ほぼなくなった。

落とし穴:既定値 1 が意味のないテストを作る

PointService で、表の数字には表れない問題が見つかった。生成された calcPoints のテストを見てほしい。

PointServiceGeneratedTest.java(calcPoints_B2_false)

        @Test
        @DisplayName("[B2] if (rank == Rank.GOLD) → false")
        void calcPoints_B2_false() {
            // 経路: B1 false → B2 false → B3 true → B4 true
            // Arrange
            String memberId = "memberId-1";
            int amount = 1;
            boolean usesCard = true;
            when(memberRepository.findRank("memberId-1")).thenReturn(Rank.SILVER);
            when(campaignClient.isActive("CARD2026")).thenReturn(true);

            // Act
            int actual = sut.calcPoints(memberId, amount, usesCard);

            // Assert
            // TODO: 期待値を設定してください(自動生成:B2 if (rank == Rank.GOLD) → false/L25)
            //       コード上の戻り値: points
            fail("TODO: 期待値が未設定です");
        }

ランクが SILVER(1.5倍)になる経路を正しく通っている。しかし金額 amount は既定値の 1 なので、1 / 100 = 0 ポイントになり、何倍しても 0 だ。この入力のまま期待値を「戻り値をそのまま」書くと、GOLD・SILVER・BRONZE のどのテストも同じ値になる。ランクの倍率を間違えても失敗しないテストができてしまう。

カバレッジは「その行を通ったか」しか見ないので、この問題は 100% になっても気づけない。仕上げでは金額を 100000(1,000 ポイント)に変え、ランクごとに 2,000 / 1,500 / 1,000(+カード利用で 50)と、違いが出る期待値にした。

⚠️ 仕上げのときに確かめること

期待値を書く前に「この入力で、分岐の違いが結果の違いになって現れるか」を確かめる。現れないなら、境界に関係しない引数(金額や件数)を意味のある値に変える。テストの強さを機械的に確かめたい場合は、ミューテーションテスト(PIT など)で「コードを少し壊したらテストが落ちるか」を測る方法がある。

改善するなら、引数名や型ごとのサンプル値を設定ファイルで渡せるようにするとよい(amount は 100000、itemCode は実在しそうな品番、など)。今回の実装では既定値を default_value に直接書いているので、そこを差し替える形になる。

生成できない書き方

2つの題材と PART 04 の古いコードで見えた限界を、理由と対策つきでまとめる。

書き方何が起きるか理由対策
協力者をメソッド内で new、static 呼び出し本物が呼ばれるモックに差し替える場所がない警告に従って注入する形に直す(PART 04)
途中で計算した値の判定(order.total() >= 10000)入力値の TODO計算を追わない人が入力を決める
自分自身のメソッド呼び出し(grant → calcPoints)中のモック呼び出しがスタブされず、経路が「?」呼び出し先の本体まで追わない呼び出し先を別クラスに分けるか、人がスタブを足す
拡張 for 以外のループ(while・従来の for)分岐表には載るがケースは増えない繰り返し回数を条件から決めない人がケースを足す
同じモックを違う戻り値で複数回呼ぶ1回分しかスタブされないループは要素1件で1回だけたどるthenReturn(a, b) を手で書く
同じ引数を複数の判定で使い、値を変える経路に「?」と確認の TODO後の判定が前の値を書き換える人が経路を確かめる(PART 05)
ラムダ・匿名クラスの中の分岐対象外呼ばれ方が外から決まらない中身をメソッドに切り出す
break のないフォールスルーcase ごとに別扱い流れを追わない人が確認する
同じ名前の型が複数のパッケージにある取り違えるtree-sitter は型を解決しないJavaParser の型解決などを使う

多くの行に共通しているのは「実行せず、構文だけで決めている」ことだ。これはこの方式の弱みだが、ビルド環境なしで動き、出力が読みやすく予測しやすいという強みの裏返しでもある。型の解決が必要になったときの選択肢は、tree-sitter シリーズ PART 07 にまとめている。

期待値の TODO を LLM で埋める

期待値は仕様から決めるもので、ジェネレーターには決められない。ただし、仕様書や設計書がある場合は、TODO を埋める作業を LLM に手伝わせることができる。このとき大事なのは、LLM にコードから期待値を推測させない ことだ。コードだけを渡すと、LLM は実装の動きをそのまま期待値にしやすい。そうなると、PART 01 で避けた「今の動作の記録(特性テスト)」と同じになり、バグも正解として固定される。

プロンプトの例
あなたは Java の単体テストのレビュー担当です。
次の「仕様」に基づいて、テストコード中の「// TODO: 期待値を設定してください」の箇所だけを埋めてください。

制約:
- Arrange(引数・スタブ)と verify の行は変更しない
- 期待値は仕様の記述から決め、各 assert の行末に根拠となる仕様の項番をコメントで書く
- 仕様から決められない期待値は、TODO を残し「仕様に記載なし」と書く
- fail("TODO: 期待値が未設定です") は、そのテストのすべての TODO を埋めた場合だけ削除する

# 仕様
(例)3.2 合計金額が 10,000 円以上の注文は 5% 割引とする …

# テスト対象のソース
(OrderService.java)

# 生成されたテスト
(OrderServiceGeneratedTest.java)

LLM の出力は、次の順で確かめる。

  1. 差分を見て、Arrange と verify が変わっていないことを確かめる
  2. 各 assert の根拠(仕様の項番)を読み、仕様と合っているかを人が確認する
  3. テストを実行する。失敗したら「テストが間違い」か「実装がバグ」かを仕様に照らして判断する
  4. coverage_gap.py と、TODO が残っていないかのチェック(PART 07)を通す

役割を分けると、どの分岐をどう通すかはルール型のジェネレーター、仕様の文章から期待値を書き起こす下書きは LLM、正しいかの判断は人 になる。LLM にテスト全体を書かせるより、生成済みの骨組みの TODO だけを任せるほうが、出力の確認範囲が狭くて済む。

導入の進め方

  1. テストのないクラスから始める:既存テストのあるクラスに混ぜると、手書きとの重複整理が先に必要になる
  2. deps.py の警告を先に片付ける:警告のあるクラスは、生成しても本物が呼ばれる。リファクタリングの候補一覧として使う
  3. テンプレートをチームの規約に合わせる:命名、コメント、AssertJ を使うかどうかなどは test_class.java.j2 だけを直せば変えられる
  4. CI の下限は「今の値を下回らない」から:--min は現状の値から始め、少しずつ上げる
  5. 生成テストはレビューの材料として使う:@DisplayName の一覧は、そのまま「このメソッドの分岐一覧」になる。仕様レビューで「この分岐の期待値は何か」を話し合う材料にもなる

シリーズのまとめ

回作ったものポイント
PART 01方針C1 を目標に、期待値は TODO + fail()
PART 02手書きの正解テスト境界値・verify・時刻の固定。分岐 17/17
PART 03branches.py判定・アトム数・抜けるかの分岐表
PART 04project_index.py・deps.py協力者はモック、Clock は固定、値は実物。差し替えられない書き方の警告
PART 05cases.py主経路+枝分かれ、短絡評価、境界値、到達不能・書き換えの検出
PART 06gen_tests.py・テンプレートスタブと verify の出し分け、生成先の分離
PART 07coverage_gap.py・CIJaCoCo と C1 の違い、未達分岐 → 直すテスト
PART 08適用結果生成のみで 87〜94%、残りは TODO の場所だけ

テストの自動生成で目指したのは、人の判断が必要な場所を はっきり残す ことだった。分岐を通すための機械的な作業はジェネレーターに任せ、人は「その結果は仕様どおりか」を考えることに時間を使う。テストを書く手間が理由で後回しになっていたクラスがあれば、まずは deps.py の警告と、生成テストの @DisplayName の一覧を眺めるところから始めてほしい。