grep では足りない場面
ソースを調べる最初の道具は grep だ。速いし、どこでも使える。ただし grep が見ているのは 文字の並び であって、コードの構造ではない。たとえば「save( を呼んでいる箇所」を grep すると、次のようなものが混ざる。
- コメントや Javadoc の中の
save( - 文字列リテラル
"save(...) に失敗" saveAll(やautosave(のような別メソッド(正規表現を工夫すれば避けられるが、ルールが増えるほど壊れやすい)
逆に、「catch の中身が空」「if が4段以上ネストしている」「メソッドが何行あるか」のように 範囲や入れ子 が絡む問いは、行単位の grep ではほぼ書けない。こうした問いに答えるには、ソースを一度 構文木 に変換し、その木を調べるのが確実だ。
💡 このシリーズの立ち位置
当サイトの「可視化 / Java」シリーズは、関係を抽出したあとの 図にする側 を扱っている。こちらの「解析」シリーズは、その手前の ソースから情報を取り出す側 を、tree-sitter という1つの道具で掘り下げる。
tree-sitter とは
tree-sitter は、GitHub 発のオープンソースの パーサー生成器 兼 インクリメンタル構文解析ライブラリ だ。言語ごとの文法(grammar)から C で書かれたパーサーを生成し、ソースコードを構文木に変換する。もともとはエディタの色付けやコード折りたたみのために作られ、現在は Neovim・Zed・Helix などのエディタや、GitHub のコードナビゲーションで使われている。
図1: このシリーズで扱う解析の流れ。PART 02〜04 で部品を揃え、PART 05・06 で実践する
Java 解析の道具として見たとき、tree-sitter の特徴は次の4つに集約できる。
- ビルドもクラスパスも要らない:ソースファイル単体を文字列として読むだけで木が作れる。依存ライブラリがそろっていない古いプロジェクトや、断片的にしか手元にないソースでも解析できる
- エラーに強い:構文エラーがあっても解析を止めず、壊れた部分を
ERRORノードとして木に残し、後続は普通に解析する(PART 03) - Query が使える:「メソッド宣言の名前」のような構造上のパターンを S 式で書いて、一致するノードをまとめて取り出せる(PART 04)
- 多言語で同じ書き方:Java・Python・JavaScript・Go・C# など多数の言語の文法が公開されており、Parser と Query の使い方は言語が変わっても同じ(PART 07)
加えて、ソースを編集したときに変わった部分だけを再解析する 増分パース も持っている。エディタ向けに作られた名残だが、解析ツールを常駐させる場合に効いてくる。
CST と AST の違い
tree-sitter が作る木は、厳密には 具象構文木(CST: Concrete Syntax Tree) だ。括弧・セミコロン・キーワードのような記号も含め、ソースの全文字が木のどこかに対応している。一方、JavaParser や Eclipse JDT が作るのは 抽象構文木(AST) で、意味に関係しない記号は捨てられ、そのかわり「このノードはメソッド呼び出しで、引数は2つ」といった意味づけが型としてはっきりしている。
| CST(tree-sitter) | AST(JavaParser など) | |
|---|---|---|
| 記号・キーワード | 「名前なしノード」として残る | 原則として捨てられる |
| ノードの表し方 | 文字列の型名(method_declaration)とフィールド名 | 言語ごとのクラス(MethodDeclaration) |
| 元のソースとの対応 | バイト位置で完全に対応する | 位置情報はあるが、書き戻しには別の仕組みが要る |
| 型や参照の解決 | しない(構文だけ) | ライブラリによってはできる(Symbol Solver など) |
実際に使ってみると、tree-sitter の木は「CST だが、名前付きノードだけを見れば AST に近い」と考えるとわかりやすい。この感覚は PART 03 で実物を見ながらつかむ。
Java の解析手段との比較
Java のソースを構文レベルで扱う手段は tree-sitter 以外にもいくつかある。用途で選び分けるのが正解で、どれか1つが万能というわけではない。
| 手段 | 実装言語 | 得意なこと | 気になる点 |
|---|---|---|---|
| tree-sitter | C(各言語のバインディングあり) | ビルド不要・エラーに強い・高速・多言語を同じ書き方で扱える | 型・参照の解決はしない。ノード名は文法の定義を見て覚える必要がある |
| JavaParser | Java | 扱いやすい AST、ソースの書き換え、Symbol Solver による型解決 | 型解決にはクラスパスや依存 JAR の設定が必要。Java 専用 |
| Eclipse JDT(ASTParser) | Java | IDE と同じ精度の型・バインディング解決 | API が大きく、Eclipse の外で使うには準備が多い |
| Spoon | Java | 型付きのメタモデルでの解析と変換(リファクタリングツール向け) | 基本的にコンパイルできるソースが前提 |
| javac の Compiler Tree API | Java | コンパイラと同じ解釈で確実 | コンパイル環境がそろっている必要がある |
| ANTLR(Java 文法) | Java / Python など | 文法を自分で改造できる。独自言語・方言に強い | 文法の保守を自分で持つことになる。エラー回復は tree-sitter ほど寛容ではない |
当サイトの CRUD 図生成 PART 03 では、JavaParser で AST を走査して SQL 文字列を取り出している。Java だけを対象に、Java のツールとして組み込むなら JavaParser は今でも有力な選択肢だ。tree-sitter を選ぶのは、「ビルドできない/したくない」「Python でさっと調べたい」「Java 以外の言語も同じ仕組みで扱いたい」 のどれかに当てはまるときである。
Python 以外の使い方
このシリーズでは Python のバインディング(py-tree-sitter)を使うが、tree-sitter 本体は C のライブラリなので、ほかの言語や道具からも同じ機能が使える。手元の環境に合わせて選んでよい。
| 使い方 | パッケージ | ひとこと |
|---|---|---|
| Python | tree-sitter + tree-sitter-java(pip) | このシリーズの方法。Windows 用のビルド済みパッケージがあり、コンパイラは不要 |
| Java | io.github.tree-sitter:jtreesitter(Maven) | 公式の Java バインディング。JDK 22 以降の FFM API を使う。古い JDK 向けにはコミュニティ版(tree-sitter-ng など)がある |
| Node.js / ブラウザ | tree-sitter(ネイティブ)/ web-tree-sitter(WASM) | VS Code 拡張や Web ツールに組み込むならこちら |
| Rust / Go | tree-sitter クレート/ Go バインディング | 単体の実行ファイルとして配りたい解析ツール向け |
| コマンドライン | tree-sitter CLI | tree-sitter parse で木を表示、tree-sitter query でクエリを試せる。文法を自作するときの道具でもある |
| ブラウザで試す | 公式サイトの Playground | コードを貼ると木とクエリの結果がその場で見られる。ノード名を調べるのに便利 |
どの方法でも ノード型の名前(method_declaration など)と Query の書き方は共通 だ。このシリーズで書く Query は、Java や Node.js から使う場合もほぼそのまま流用できる。
向いている用途・向いていない用途
| 向いている | 向いていない |
|---|---|
|
|
右側の列は、いずれも 型の解決 が必要になる仕事だ。tree-sitter は構文しか見ないので、ここを求めると苦しくなる。PART 05 では「変数の宣言から型を推定する」という簡易的な工夫を入れるが、それでも届かない範囲と、そのときに乗り換える先は PART 07 で整理する。
このシリーズの前提環境と構成
- OS:Windows 11(PowerShell)。コマンドは Linux / macOS でもほぼ同じ
- Python 3.10 以上
- 動作確認したバージョン:
tree-sitter0.26.0 /tree-sitter-java0.23.5 - 解析対象:Spring Boot 風の小さなサンプル(注文サービスとコントローラーの2クラス)。各回で使うファイルは記事内に全文を載せる
| 回 | 内容 | こんなときに読む |
|---|---|---|
| PART 01 | tree-sitter とは(この記事) | JavaParser などと比べて使うか決めたい |
| PART 02 | 環境構築 | まず1ファイルをパースしたい・Shift_JIS のソースがある |
| PART 03 | 構文木の構造を読む | ノード名やフィールド名の調べ方を知りたい |
| PART 04 | Query による抽出 | 宣言や呼び出しを短いコードでまとめて取り出したい |
| PART 05 | 実践:呼び出し・依存の抽出 | クラス間の依存を一覧や図にしたい |
| PART 06 | 実践:コード品質チェック | 独自ルールのチェッカーを作って CI に入れたい |
| PART 07 | まとめ(性能・他言語・限界) | 大規模なリポジトリに使いたい・型解決が必要になった |
✅ 次の記事では…
PART 02 では、py-tree-sitter と tree-sitter-java を導入し、Java ソースを最初にパースする。日本の現場で避けて通れない Shift_JIS のソースも、ここで読めるようにしておく。