grep では足りない場面

ソースを調べる最初の道具は grep だ。速いし、どこでも使える。ただし grep が見ているのは 文字の並び であって、コードの構造ではない。たとえば「save( を呼んでいる箇所」を grep すると、次のようなものが混ざる。

  • コメントや Javadoc の中の save(
  • 文字列リテラル "save(...) に失敗"
  • saveAll( や autosave( のような別メソッド(正規表現を工夫すれば避けられるが、ルールが増えるほど壊れやすい)

逆に、「catch の中身が空」「if が4段以上ネストしている」「メソッドが何行あるか」のように 範囲や入れ子 が絡む問いは、行単位の grep ではほぼ書けない。こうした問いに答えるには、ソースを一度 構文木 に変換し、その木を調べるのが確実だ。

💡 このシリーズの立ち位置

当サイトの「可視化 / Java」シリーズは、関係を抽出したあとの 図にする側 を扱っている。こちらの「解析」シリーズは、その手前の ソースから情報を取り出す側 を、tree-sitter という1つの道具で掘り下げる。

tree-sitter とは

tree-sitter は、GitHub 発のオープンソースの パーサー生成器 兼 インクリメンタル構文解析ライブラリ だ。言語ごとの文法(grammar)から C で書かれたパーサーを生成し、ソースコードを構文木に変換する。もともとはエディタの色付けやコード折りたたみのために作られ、現在は Neovim・Zed・Helix などのエディタや、GitHub のコードナビゲーションで使われている。

Javaソースをtree-sitterのParserとtree-sitter-java文法で構文木に変換し、Queryまたはノードの走査で情報を取り出してJSONL・CSV・Mermaidに出力する流れの図

図1: このシリーズで扱う解析の流れ。PART 02〜04 で部品を揃え、PART 05・06 で実践する

Java 解析の道具として見たとき、tree-sitter の特徴は次の4つに集約できる。

  1. ビルドもクラスパスも要らない:ソースファイル単体を文字列として読むだけで木が作れる。依存ライブラリがそろっていない古いプロジェクトや、断片的にしか手元にないソースでも解析できる
  2. エラーに強い:構文エラーがあっても解析を止めず、壊れた部分を ERROR ノードとして木に残し、後続は普通に解析する(PART 03)
  3. Query が使える:「メソッド宣言の名前」のような構造上のパターンを S 式で書いて、一致するノードをまとめて取り出せる(PART 04)
  4. 多言語で同じ書き方:Java・Python・JavaScript・Go・C# など多数の言語の文法が公開されており、Parser と Query の使い方は言語が変わっても同じ(PART 07)

加えて、ソースを編集したときに変わった部分だけを再解析する 増分パース も持っている。エディタ向けに作られた名残だが、解析ツールを常駐させる場合に効いてくる。

CST と AST の違い

tree-sitter が作る木は、厳密には 具象構文木(CST: Concrete Syntax Tree) だ。括弧・セミコロン・キーワードのような記号も含め、ソースの全文字が木のどこかに対応している。一方、JavaParser や Eclipse JDT が作るのは 抽象構文木(AST) で、意味に関係しない記号は捨てられ、そのかわり「このノードはメソッド呼び出しで、引数は2つ」といった意味づけが型としてはっきりしている。

CST(tree-sitter)AST(JavaParser など)
記号・キーワード「名前なしノード」として残る原則として捨てられる
ノードの表し方文字列の型名(method_declaration)とフィールド名言語ごとのクラス(MethodDeclaration)
元のソースとの対応バイト位置で完全に対応する位置情報はあるが、書き戻しには別の仕組みが要る
型や参照の解決しない(構文だけ)ライブラリによってはできる(Symbol Solver など)

実際に使ってみると、tree-sitter の木は「CST だが、名前付きノードだけを見れば AST に近い」と考えるとわかりやすい。この感覚は PART 03 で実物を見ながらつかむ。

Java の解析手段との比較

Java のソースを構文レベルで扱う手段は tree-sitter 以外にもいくつかある。用途で選び分けるのが正解で、どれか1つが万能というわけではない。

手段実装言語得意なこと気になる点
tree-sitterC(各言語のバインディングあり)ビルド不要・エラーに強い・高速・多言語を同じ書き方で扱える型・参照の解決はしない。ノード名は文法の定義を見て覚える必要がある
JavaParserJava扱いやすい AST、ソースの書き換え、Symbol Solver による型解決型解決にはクラスパスや依存 JAR の設定が必要。Java 専用
Eclipse JDT(ASTParser)JavaIDE と同じ精度の型・バインディング解決API が大きく、Eclipse の外で使うには準備が多い
SpoonJava型付きのメタモデルでの解析と変換(リファクタリングツール向け)基本的にコンパイルできるソースが前提
javac の Compiler Tree APIJavaコンパイラと同じ解釈で確実コンパイル環境がそろっている必要がある
ANTLR(Java 文法)Java / Python など文法を自分で改造できる。独自言語・方言に強い文法の保守を自分で持つことになる。エラー回復は tree-sitter ほど寛容ではない

当サイトの CRUD 図生成 PART 03 では、JavaParser で AST を走査して SQL 文字列を取り出している。Java だけを対象に、Java のツールとして組み込むなら JavaParser は今でも有力な選択肢だ。tree-sitter を選ぶのは、「ビルドできない/したくない」「Python でさっと調べたい」「Java 以外の言語も同じ仕組みで扱いたい」 のどれかに当てはまるときである。

Python 以外の使い方

このシリーズでは Python のバインディング(py-tree-sitter)を使うが、tree-sitter 本体は C のライブラリなので、ほかの言語や道具からも同じ機能が使える。手元の環境に合わせて選んでよい。

使い方パッケージひとこと
Pythontree-sitter + tree-sitter-java(pip)このシリーズの方法。Windows 用のビルド済みパッケージがあり、コンパイラは不要
Javaio.github.tree-sitter:jtreesitter(Maven)公式の Java バインディング。JDK 22 以降の FFM API を使う。古い JDK 向けにはコミュニティ版(tree-sitter-ng など)がある
Node.js / ブラウザtree-sitter(ネイティブ)/ web-tree-sitter(WASM)VS Code 拡張や Web ツールに組み込むならこちら
Rust / Gotree-sitter クレート/ Go バインディング単体の実行ファイルとして配りたい解析ツール向け
コマンドラインtree-sitter CLItree-sitter parse で木を表示、tree-sitter query でクエリを試せる。文法を自作するときの道具でもある
ブラウザで試す公式サイトの Playgroundコードを貼ると木とクエリの結果がその場で見られる。ノード名を調べるのに便利

どの方法でも ノード型の名前(method_declaration など)と Query の書き方は共通 だ。このシリーズで書く Query は、Java や Node.js から使う場合もほぼそのまま流用できる。

向いている用途・向いていない用途

向いている向いていない
  • クラス・メソッド・フィールドの棚卸し
  • 「誰が何を呼んでいるか」のおおまかな依存調査
  • アノテーションや特定 API の使用箇所の洗い出し
  • 独自のコーディング規約チェック
  • ビルドできない古い資産・断片的なソースの調査
  • 複数言語にまたがるリポジトリの横断調査
  • オーバーロードを区別した正確な呼び出し先の特定
  • 継承・インターフェース越しの呼び出し解決
  • ラムダやメソッド参照の型推論
  • ソースの安全な自動リファクタリング
  • 既存の静的解析ツール(SpotBugs・SonarQube など)の代替

右側の列は、いずれも 型の解決 が必要になる仕事だ。tree-sitter は構文しか見ないので、ここを求めると苦しくなる。PART 05 では「変数の宣言から型を推定する」という簡易的な工夫を入れるが、それでも届かない範囲と、そのときに乗り換える先は PART 07 で整理する。

このシリーズの前提環境と構成

  • OS:Windows 11(PowerShell)。コマンドは Linux / macOS でもほぼ同じ
  • Python 3.10 以上
  • 動作確認したバージョン:tree-sitter 0.26.0 / tree-sitter-java 0.23.5
  • 解析対象:Spring Boot 風の小さなサンプル(注文サービスとコントローラーの2クラス)。各回で使うファイルは記事内に全文を載せる
回内容こんなときに読む
PART 01tree-sitter とは(この記事)JavaParser などと比べて使うか決めたい
PART 02環境構築まず1ファイルをパースしたい・Shift_JIS のソースがある
PART 03構文木の構造を読むノード名やフィールド名の調べ方を知りたい
PART 04Query による抽出宣言や呼び出しを短いコードでまとめて取り出したい
PART 05実践:呼び出し・依存の抽出クラス間の依存を一覧や図にしたい
PART 06実践:コード品質チェック独自ルールのチェッカーを作って CI に入れたい
PART 07まとめ(性能・他言語・限界)大規模なリポジトリに使いたい・型解決が必要になった

✅ 次の記事では…

PART 02 では、py-tree-sitter と tree-sitter-java を導入し、Java ソースを最初にパースする。日本の現場で避けて通れない Shift_JIS のソースも、ここで読めるようにしておく。

→ PART 02 — 環境構築へ