なぜ C1(分岐網羅)を目標にするのか

カバレッジの基準にはいくつか段階がある。定義の詳しい説明は当サイトの「JaCoCo コードカバレッジ実践ガイド」に譲り、ここでは自動生成の目標としてどれを選ぶかだけを考える。

基準満たす条件自動生成の目標としての評価
C0(命令網羅)すべての文を1回は実行するelse 側や「何もしない側」を通らなくても 100% になる。漏れが残りやすい
C1(分岐網羅)すべての判定で true / false(case ごと)を1回は通る判定の数に比例したケース数で済み、漏れも少ない。目標に向く
C2(条件網羅)&& や || でつないだ個々の条件の true / false を通るケースが増えやすい。必要な判定だけ追加で狙う

C1 を選ぶ理由は2つある。1つは ケース数が読める ことだ。判定が N 個あれば、おおむね N+1 本(主経路1本と、各判定の反対側)で足りる。生成されたテストを人がレビューする前提なので、本数が爆発しないことは大事だ。

もう1つは JaCoCo でそのまま確かめられる ことだ。JaCoCo の Branches(分岐)カウンターは、C1 にかなり近い値を出す。ただし || を条件ごとに数えたり、catch を分岐に数えなかったりと、細かな違いがある。この違いは PART 07 で実物の数字を使って説明する。

テスト自動生成のやり方と既存ツール

Java の単体テストを自動生成する方法は、大きく分けると次のとおりだ。

方式代表例入力値の決め方向いている場面
探索型EvoSuite遺伝的アルゴリズムなどで、カバレッジが上がる入力を探すJava 8 世代のコードを広く網羅したい
ランダム型Randoopメソッド呼び出しの並びをランダムに作り、結果をアサーションにするライブラリの回帰テスト、例外の発見
学習型(商用)Diffblue Coverバイトコードを解析し、強化学習で入力とアサーションを決める大規模なコードに一括で適用したい
LLM 型各種コーディングアシスタントソースを読ませて、テストコードを文章として書かせる少数のクラスを対話しながら書く
ルール型(本シリーズ)自作(Python)条件式の形から境界値やモックの戻り値を決める社内の書き方に合わせたい、ビルド環境なしで動かしたい

EvoSuite は分岐網羅の自動生成では有名なツールだが、最後のリリース(1.2.0)から年数が経っている。公式サイトでも Java 9 以降への対応は制限付きとされているので、Java 21 のプロジェクトにそのまま使うのは難しい。Randoop は Java 8 以降で動くが、入力はランダムに作られる。そのため「この if の false 側を通すテスト」のように、狙いを持ったテストにはなりにくい。Diffblue Cover は実績のある商用製品で、費用と社内ルールが合うなら有力な選択肢になる。

これらのツールは、どれも コンパイル済みのクラスを実行しながら 入力を探す。ビルドが通り、依存ライブラリがそろった環境が必要だ。また、生成されるテストの命名や構成は、ツールの流儀で決まる。

このシリーズの方式:構文を読んで、分岐ごとに1ケース

本シリーズでは、もっと素朴な方式を自分で作る。ソースを構文として読み、判定を1つずつ見て、「この結果になる入力」を条件式の形から決める。作るものは次の流れだ。

Javaソースから分岐の抽出と外部依存の分類を行い、ケース設計、テストコード生成、人による仕上げ、JaCoCoでの計測、未達分岐の突き合わせへと進み、必要なら再生成に戻る流れの図

図1: このシリーズで作るテスト自動生成の流れ

  • 解析は tree-sitter:ビルドもクラスパスも不要で、ソースだけで動く。解析の基本は「解析 / Java / tree-sitter」シリーズで扱っており、そこで作った共通モジュールをそのまま使う
  • 外部依存はモックにする:コンストラクタで受け取る Repository、外部 API のクライアント、メール送信などは Mockito の @Mock に置き換える。時刻(Clock)だけはモックにせず固定する
  • 分岐の制御はモックの戻り値で行う:「在庫が数量より少ない」を通すなら、在庫 API のモックが 数量 - 1 を返すようにスタブする
  • 生成はテンプレートで行う:Jinja2 のテンプレートを1枚用意し、命名やコメントの書き方をチームの規約に合わせて変えられるようにする

この方式は実行して探すわけではないので、条件式から入力を決められない判定もある。たとえば「合計金額が 1 万円以上」のように、途中の計算結果で決まる条件だ。こうした判定は 入力値の TODO として残し、PART 07 の計測で「どのテストを直せばよいか」がすぐわかるようにする。全部を自動で埋めようとせず、8〜9割を機械で作り、残りの場所をはっきり示す のが設計方針だ。

期待値は自動で決めない

テストの自動生成でいちばん議論になるのは、期待値(assert)をどうするかだ。選択肢は3つある。

方針中身問題点
(a) TODO として残す(本シリーズ)期待値の場所に TODO と根拠を書き、埋めるまで fail() で失敗させる人の作業が残る
(b) 今の動作を記録する実行して得た戻り値をそのまま期待値にする(特性テスト)バグも「正しい動作」として固定される
(c) モックの呼び出しだけ確認するverify だけを並べる戻り値や状態の誤りを見逃す

本シリーズでは (a) を採る。期待値は仕様から決めるもので、コードから決めるものではないからだ。ただし、何も手がかりがないと埋めるのが大変になる。そこで生成するテストには、次のような注釈を必ず付ける。

生成されるテストの例(PART 06 で生成する実物から抜粋)
        @Test
        @DisplayName("[B1] if (found.isEmpty()) → true")
        void cancelOrder_B1_true() {
            // 経路: B1 true
            // Arrange
            long orderId = 1L;
            when(orderRepository.findById(1L)).thenReturn(Optional.empty());

            // Act
            boolean actual = sut.cancelOrder(orderId);

            // Assert
            // TODO: 期待値を設定してください(自動生成:B1 if (found.isEmpty()) → true/L50)
            //       コード上の戻り値: false
            verify(orderRepository, never()).save(any(Order.class));
            fail("TODO: 期待値が未設定です");
        }
  • どの分岐のどの結果を通すテストか(分岐 ID・条件式・行番号)を DisplayName と TODO に書く
  • コード上の戻り値(return false; など)をヒントとして書く。そのまま期待値にはしない
  • 例外を投げる経路では、例外の型だけ assertThrows で確認し、メッセージなどは TODO にする
  • モックの呼び出しは verify で確認する。呼ばれないはずの呼び出しには never() を付ける

⚠️ fail() を入れる理由

TODO コメントだけだと、テストは「成功」して CI を通ってしまい、期待値のないテストがカバレッジだけを押し上げる。生成されたテストは下書きであり、仕上げるまで失敗する状態にしておく。下書きのまま計測だけしたいときの Gradle の設定は PART 06 で紹介する。

動作確認環境とファイル構成

用途バージョン
テスト生成(Python)Python 3.13(3.10 以上で動く書き方)、tree-sitter 0.26.0、tree-sitter-java 0.23.5、Jinja2 3.1.6
テスト対象・テスト実行Java 21、Gradle 8.14、JUnit 5.14.2、JaCoCo 0.8.14
モックMockito(記事の build.gradle は 5.23.0。筆者の検証環境では 3.3 系で実行を確認)

生成されるコードが使うのは @Mock・when・verify・doThrow・MockitoExtension といった基本 API だけで、これらは Mockito 3 系でも 5 系でも同じように使える。最終的なファイル構成は次のとおり。

ファイル構成
project/
├─ build.gradle
├─ src/main/java/com/example/order/   … テスト対象(PART 02)
├─ src/test/java/com/example/order/   … 人が仕上げたテスト
├─ src/test/generated/java/…          … 生成テスト(毎回上書き)
└─ testgen/                            … Python のテスト生成ツール
   ├─ ts_common.py       (tree-sitter シリーズの共通モジュール)
   ├─ project_index.py   (型の一覧:PART 04)
   ├─ branches.py        (分岐表:PART 03)
   ├─ deps.py            (外部依存の分類:PART 04)
   ├─ cases.py           (ケース設計:PART 05)
   ├─ gen_tests.py       (生成:PART 06)
   ├─ templates/test_class.java.j2
   └─ coverage_gap.py    (未達分岐の突き合わせ:PART 07)

シリーズの進め方

  1. PART 02:題材の注文サービスに、手書きで C1 100% のテストを書く(生成のゴールを決める)
  2. PART 03:tree-sitter で判定を集め、分岐表(CSV / JSON)を作る
  3. PART 04:コンストラクタ引数から外部依存を見つけ、モック・固定・実物に振り分ける
  4. PART 05:メソッドを先頭からたどり、分岐の結果ごとに入力値とスタブを決める
  5. PART 06:Jinja2 でテストクラスを生成し、Gradle で実行する
  6. PART 07:JaCoCo で計測し、未達の分岐と直すテストを突き合わせる。CI に入れる
  7. PART 08:2つのサービスに適用した計測値、生成できない書き方、LLM との併用

JUnit 5 と Mockito の書き方そのものは「JUnit 5 + Mockito 実践ガイド」で詳しく扱っている。アノテーションに不安があれば先に目を通しておくと読みやすい。

✅ 次の記事では…

PART 02 では、題材の注文サービスに手書きで C1 100% のテストを書き、生成ツールが目指す「正解の形」を決める。

→ PART 02 — 題材と「正解のテスト」へ