なぜ C1(分岐網羅)を目標にするのか
カバレッジの基準にはいくつか段階がある。定義の詳しい説明は当サイトの「JaCoCo コードカバレッジ実践ガイド」に譲り、ここでは自動生成の目標としてどれを選ぶかだけを考える。
| 基準 | 満たす条件 | 自動生成の目標としての評価 |
|---|---|---|
| C0(命令網羅) | すべての文を1回は実行する | else 側や「何もしない側」を通らなくても 100% になる。漏れが残りやすい |
| C1(分岐網羅) | すべての判定で true / false(case ごと)を1回は通る | 判定の数に比例したケース数で済み、漏れも少ない。目標に向く |
| C2(条件網羅) | && や || でつないだ個々の条件の true / false を通る | ケースが増えやすい。必要な判定だけ追加で狙う |
C1 を選ぶ理由は2つある。1つは ケース数が読める ことだ。判定が N 個あれば、おおむね N+1 本(主経路1本と、各判定の反対側)で足りる。生成されたテストを人がレビューする前提なので、本数が爆発しないことは大事だ。
もう1つは JaCoCo でそのまま確かめられる ことだ。JaCoCo の Branches(分岐)カウンターは、C1 にかなり近い値を出す。ただし || を条件ごとに数えたり、catch を分岐に数えなかったりと、細かな違いがある。この違いは PART 07 で実物の数字を使って説明する。
テスト自動生成のやり方と既存ツール
Java の単体テストを自動生成する方法は、大きく分けると次のとおりだ。
| 方式 | 代表例 | 入力値の決め方 | 向いている場面 |
|---|---|---|---|
| 探索型 | EvoSuite | 遺伝的アルゴリズムなどで、カバレッジが上がる入力を探す | Java 8 世代のコードを広く網羅したい |
| ランダム型 | Randoop | メソッド呼び出しの並びをランダムに作り、結果をアサーションにする | ライブラリの回帰テスト、例外の発見 |
| 学習型(商用) | Diffblue Cover | バイトコードを解析し、強化学習で入力とアサーションを決める | 大規模なコードに一括で適用したい |
| LLM 型 | 各種コーディングアシスタント | ソースを読ませて、テストコードを文章として書かせる | 少数のクラスを対話しながら書く |
| ルール型(本シリーズ) | 自作(Python) | 条件式の形から境界値やモックの戻り値を決める | 社内の書き方に合わせたい、ビルド環境なしで動かしたい |
EvoSuite は分岐網羅の自動生成では有名なツールだが、最後のリリース(1.2.0)から年数が経っている。公式サイトでも Java 9 以降への対応は制限付きとされているので、Java 21 のプロジェクトにそのまま使うのは難しい。Randoop は Java 8 以降で動くが、入力はランダムに作られる。そのため「この if の false 側を通すテスト」のように、狙いを持ったテストにはなりにくい。Diffblue Cover は実績のある商用製品で、費用と社内ルールが合うなら有力な選択肢になる。
これらのツールは、どれも コンパイル済みのクラスを実行しながら 入力を探す。ビルドが通り、依存ライブラリがそろった環境が必要だ。また、生成されるテストの命名や構成は、ツールの流儀で決まる。
このシリーズの方式:構文を読んで、分岐ごとに1ケース
本シリーズでは、もっと素朴な方式を自分で作る。ソースを構文として読み、判定を1つずつ見て、「この結果になる入力」を条件式の形から決める。作るものは次の流れだ。
図1: このシリーズで作るテスト自動生成の流れ
- 解析は tree-sitter:ビルドもクラスパスも不要で、ソースだけで動く。解析の基本は「解析 / Java / tree-sitter」シリーズで扱っており、そこで作った共通モジュールをそのまま使う
- 外部依存はモックにする:コンストラクタで受け取る Repository、外部 API のクライアント、メール送信などは Mockito の
@Mockに置き換える。時刻(Clock)だけはモックにせず固定する - 分岐の制御はモックの戻り値で行う:「在庫が数量より少ない」を通すなら、在庫 API のモックが
数量 - 1を返すようにスタブする - 生成はテンプレートで行う:Jinja2 のテンプレートを1枚用意し、命名やコメントの書き方をチームの規約に合わせて変えられるようにする
この方式は実行して探すわけではないので、条件式から入力を決められない判定もある。たとえば「合計金額が 1 万円以上」のように、途中の計算結果で決まる条件だ。こうした判定は 入力値の TODO として残し、PART 07 の計測で「どのテストを直せばよいか」がすぐわかるようにする。全部を自動で埋めようとせず、8〜9割を機械で作り、残りの場所をはっきり示す のが設計方針だ。
期待値は自動で決めない
テストの自動生成でいちばん議論になるのは、期待値(assert)をどうするかだ。選択肢は3つある。
| 方針 | 中身 | 問題点 |
|---|---|---|
| (a) TODO として残す(本シリーズ) | 期待値の場所に TODO と根拠を書き、埋めるまで fail() で失敗させる | 人の作業が残る |
| (b) 今の動作を記録する | 実行して得た戻り値をそのまま期待値にする(特性テスト) | バグも「正しい動作」として固定される |
| (c) モックの呼び出しだけ確認する | verify だけを並べる | 戻り値や状態の誤りを見逃す |
本シリーズでは (a) を採る。期待値は仕様から決めるもので、コードから決めるものではないからだ。ただし、何も手がかりがないと埋めるのが大変になる。そこで生成するテストには、次のような注釈を必ず付ける。
@Test
@DisplayName("[B1] if (found.isEmpty()) → true")
void cancelOrder_B1_true() {
// 経路: B1 true
// Arrange
long orderId = 1L;
when(orderRepository.findById(1L)).thenReturn(Optional.empty());
// Act
boolean actual = sut.cancelOrder(orderId);
// Assert
// TODO: 期待値を設定してください(自動生成:B1 if (found.isEmpty()) → true/L50)
// コード上の戻り値: false
verify(orderRepository, never()).save(any(Order.class));
fail("TODO: 期待値が未設定です");
}- どの分岐のどの結果を通すテストか(分岐 ID・条件式・行番号)を DisplayName と TODO に書く
- コード上の戻り値(
return false;など)をヒントとして書く。そのまま期待値にはしない - 例外を投げる経路では、例外の型だけ
assertThrowsで確認し、メッセージなどは TODO にする - モックの呼び出しは
verifyで確認する。呼ばれないはずの呼び出しにはnever()を付ける
⚠️ fail() を入れる理由
TODO コメントだけだと、テストは「成功」して CI を通ってしまい、期待値のないテストがカバレッジだけを押し上げる。生成されたテストは下書きであり、仕上げるまで失敗する状態にしておく。下書きのまま計測だけしたいときの Gradle の設定は PART 06 で紹介する。
動作確認環境とファイル構成
| 用途 | バージョン |
|---|---|
| テスト生成(Python) | Python 3.13(3.10 以上で動く書き方)、tree-sitter 0.26.0、tree-sitter-java 0.23.5、Jinja2 3.1.6 |
| テスト対象・テスト実行 | Java 21、Gradle 8.14、JUnit 5.14.2、JaCoCo 0.8.14 |
| モック | Mockito(記事の build.gradle は 5.23.0。筆者の検証環境では 3.3 系で実行を確認) |
生成されるコードが使うのは @Mock・when・verify・doThrow・MockitoExtension といった基本 API だけで、これらは Mockito 3 系でも 5 系でも同じように使える。最終的なファイル構成は次のとおり。
project/
├─ build.gradle
├─ src/main/java/com/example/order/ … テスト対象(PART 02)
├─ src/test/java/com/example/order/ … 人が仕上げたテスト
├─ src/test/generated/java/… … 生成テスト(毎回上書き)
└─ testgen/ … Python のテスト生成ツール
├─ ts_common.py (tree-sitter シリーズの共通モジュール)
├─ project_index.py (型の一覧:PART 04)
├─ branches.py (分岐表:PART 03)
├─ deps.py (外部依存の分類:PART 04)
├─ cases.py (ケース設計:PART 05)
├─ gen_tests.py (生成:PART 06)
├─ templates/test_class.java.j2
└─ coverage_gap.py (未達分岐の突き合わせ:PART 07)シリーズの進め方
- PART 02:題材の注文サービスに、手書きで C1 100% のテストを書く(生成のゴールを決める)
- PART 03:tree-sitter で判定を集め、分岐表(CSV / JSON)を作る
- PART 04:コンストラクタ引数から外部依存を見つけ、モック・固定・実物に振り分ける
- PART 05:メソッドを先頭からたどり、分岐の結果ごとに入力値とスタブを決める
- PART 06:Jinja2 でテストクラスを生成し、Gradle で実行する
- PART 07:JaCoCo で計測し、未達の分岐と直すテストを突き合わせる。CI に入れる
- PART 08:2つのサービスに適用した計測値、生成できない書き方、LLM との併用
JUnit 5 と Mockito の書き方そのものは「JUnit 5 + Mockito 実践ガイド」で詳しく扱っている。アノテーションに不安があれば先に目を通しておくと読みやすい。