Steampipeでできること
AWS の情報をまとめて確認したいとき、これまでの選択肢は「コンソールで目で見る」「AWS CLI の出力を加工する」「boto3 でスクリプトを書く」のどれかだった。Steampipe はここに 「SQL で問い合わせる」 という4つ目の方法を加える。
たとえば「東京リージョンで動いている EC2 を、インスタンスタイプごとに数える」なら、次の SQL で済む。
select
instance_type,
count(*) as instances
from
aws_ec2_instance
where
instance_state = 'running'
group by
instance_type
order by
instances desc;boto3 で同じことをするなら、Session を作り、describe_instances のページネーションを回し、Reservations の下の Instances を取り出して数える、というコードを書くことになる。Steampipe では、そうした「API の呼び方」の部分をプラグインが肩代わりし、利用者は 欲しい結果の形だけを SQL で書けばよい。
Steampipe は Turbot 社が開発しているオープンソースのツールで、本体(CLI)は AGPLv3、AWS などのプラグインは Apache 2.0 で公開されている。プラグインは AWS 以外にも Azure・Google Cloud・GitHub・Kubernetes などがあるが、このシリーズでは AWS プラグインに絞る。
💡 読み取り専用の道具である
Steampipe のテーブルは select 専用で、insert・update・delete で AWS のリソースを変更することはできない。リソースを変更する心配がないので、本番アカウントの調査にも使いやすい。
仕組み:SQLがAPI呼び出しに変わるまで
Steampipe の中身は、PostgreSQL のデータベースだ。インストールすると PostgreSQL 14 が一緒に入り、AWS の API が「外部テーブル」として見える状態で起動する。SQL を実行すると、次の順に処理が進む。
図1: Steampipe が SQL を AWS の API 呼び出しに変える流れ(このシリーズの環境)
- 内蔵 PostgreSQL が SQL を受け取る。
steampipe queryのほか、PostgreSQL に接続できるツール(DBeaver や psql など)からも同じように問い合わせられる - FDW(Foreign Data Wrapper:PostgreSQL の外にあるデータをテーブルとして見せる仕組み)が、どのテーブルのどの列が必要か、
whereにどんな条件があるかをプラグインに伝える - AWS プラグイン(別プロセスで動き、gRPC で FDW とやりとりする)が、テーブルに対応する API を呼ぶ。ページネーション・リトライ・複数リージョンへの並列呼び出し・結果のキャッシュはプラグインが行う
- API のレスポンスを行と列に変換して PostgreSQL に返す。ここから先の
join・group by・order byは、普通の PostgreSQL として処理される
つまり Steampipe は「データをためておくデータベース」ではない。問い合わせのたびに API を呼んで、その場で結果を作る。いつも最新の状態を返す反面、テーブルを大きく取りすぎると API の呼び出しが増えて遅くなる。この性質は、PART 03 で扱う「速く・漏れなく取る書き方」の前提になる。
もう1つ覚えておきたいのが 接続(connection) という単位だ。設定ファイルに書いた接続ごとに PostgreSQL のスキーマが1つでき、AWS の場合は通常「1接続=1アカウント」になる。最初に入る接続の名前は aws なので、aws.aws_ec2_instance のようにスキーマ名を付けて書くこともできる(複数アカウントでの使い分けは PART 06)。
テーブル名とAPIの対応
テーブル名は aws_サービス_リソース という形で、記事作成時点の AWS プラグイン(v1.34.0)には580を超えるテーブルがある。boto3 の記事で整理した API 名と並べると、次のように対応する。
| Steampipe のテーブル | 主に呼ばれる API | boto3 で書くと |
|---|---|---|
aws_ec2_instance | DescribeInstances | ec2.describe_instances() |
aws_ebs_volume | DescribeVolumes | ec2.describe_volumes() |
aws_lambda_function | ListFunctions | lambda_client.list_functions() |
aws_iam_access_key | ListUsers → ListAccessKeys → GetAccessKeyLastUsed | 3つの API を組み合わせる |
aws_cost_by_service_monthly | GetCostAndUsage(サービス別・月別) | ce.get_cost_and_usage(...) |
表の4行目のように、1つのテーブルの裏で複数の API が呼ばれることがある。boto3 では「ユーザー一覧を取り、ユーザーごとにキーを取り、キーごとに最終使用日を取る」と書く処理が、Steampipe では1つのテーブルに見える。便利な反面、どの列がどの API から来ているかで速さが変わるので、PART 03 でもう一度取り上げる。
列名は、API のレスポンスのキーをスネークケースにしたものが基本だ(InstanceType → instance_type)。ただし、扱いやすいように加工された列もある。代表的なものを挙げておく。
| 列 | 中身 |
|---|---|
account_id / region | どのアカウント・リージョンの行か。ほぼすべてのテーブルにある |
tags | タグを {"Name": "web-01"} の形にした JSONB。boto3 で書いていた変換関数が不要になる |
tags_src | API が返した元の形([{"Key": ..., "Value": ...}]) |
title | 人が読むための名前。Name タグがあればその値、なければ ID など |
akas | リソースの ARN などの識別子の配列 |
instance_state など | 入れ子の State.Name を1つの列に取り出したもの |
boto3との使い分け
同じ「AWS の情報を取る」道具でも、得意なことは違う。筆者は次のように使い分けている。
| Steampipe(SQL) | boto3(Python) | |
|---|---|---|
| 向いている作業 | 調べもの・棚卸し・監査など、条件を変えながら何度も問い合わせる作業 | 取得した結果をもとに処理を分岐させる・他のシステムに渡すなど、手順が決まった自動化 |
| 全リージョン・複数アカウント | 設定ファイルに書くだけ(PART 04・06) | ループを書く |
| サービスをまたぐ突き合わせ | join で書ける(EC2 とメトリクス、EC2 と SSM など) | dict を自分で突き合わせる |
| 新しい API への対応 | プラグインにテーブルが追加されるのを待つ | boto3 の更新ですぐ使える |
| 実行環境 | Linux / macOS。Windows は WSL2 が必要 | Python があればどこでも |
| リソースの変更 | できない(読み取り専用) | できる |
実務では、Steampipe で当たりを付けて、決まった処理になったら boto3 のスクリプトにするという流れがうまくいきやすい。SQL で条件を試行錯誤しているうちは、コードを書き直すよりずっと速いからだ。逆に、Steampipe にテーブルがない API や、取得した結果で処理を分ける必要があるものは、最初から boto3 で書いたほうがよい。
最初の一歩:EC2の一覧を出す
準備(PART 02)が終わっていれば、WSL のターミナルで steampipe query と打つと対話モードになる。ここに SQL を入力して Enter を押せば、結果が表で返る。
$ steampipe query
Welcome to Steampipe v2.4.7
For more information, type .help
> select instance_id, instance_state, instance_type, tags ->> 'Name' as name
from aws_ec2_instance;+---------------------+----------------+---------------+----------+
| instance_id | instance_state | instance_type | name |
+---------------------+----------------+---------------+----------+
| i-0123456789abcdef0 | running | t3.micro | web-01 |
| i-0fedcba9876543210 | stopped | t3.small | batch-01 |
+---------------------+----------------+---------------+----------+boto3 版の最初の一歩と比べると、ページネーションの処理も、タグを dict に変換する処理も書いていない。取得漏れを防ぐページネーションはプラグインが必ず行うので、件数が多い環境でも全件が返る。
対話モードを使わず、コマンド1行で結果だけ欲しいときは、SQL を引数に渡す。
steampipe query "select instance_id, instance_state from aws_ec2_instance"⚠️ 何も設定しないと、見えるのは1リージョンだけ
インストール直後の設定では、AWS CLI と同じく既定のリージョン(プロファイルの region)だけが対象になる。他のリージョンに EC2 があっても結果に出てこないので、「全部見えている」と思い込まないようにしたい。全リージョンを対象にする設定は PART 04 で行う。
読み取り専用の権限を選ぶ
Steampipe は読み取りしかしないが、それでも 使う認証情報そのものを読み取り専用にしておくのが安全だ。同じプロファイルを AWS CLI やスクリプトでも使うなら、なおさらである。
AWS プラグインの公式ドキュメントは、AWS 管理ポリシー ReadOnlyAccess を推奨している。ただし ReadOnlyAccess は S3 オブジェクトの中身や DynamoDB の項目まで読めるため、範囲が広い。棚卸しや設定の確認が目的なら、まず ViewOnlyAccess と SecurityAudit を組み合わせて試し、足りないテーブルが出てきたら必要なアクションを足す、という進め方が現実的だ。
| AWS管理ポリシー | Steampipe で使うときの注意 |
|---|---|
ReadOnlyAccess | 公式の推奨。ほぼすべてのテーブルが動くが、データの中身まで読める |
ViewOnlyAccess | 一覧系のテーブルは動くが、詳細設定を返す列(S3 バケットのポリシーなど)が権限不足になることがある |
SecurityAudit | IAM・CloudTrail・セキュリティ設定の列を補う。ViewOnlyAccess と組み合わせる |
| (追加で必要) | コストのテーブルには ce:GetCostAndUsage などが別途必要(PART 05) |
権限が足りないテーブルを問い合わせると、エラーになって結果が返らない。どのテーブルでどんなエラーが出るか、エラーを無視して進める設定の使いどころは PART 06 で扱う。
このシリーズの前提環境と構成
- ローカルPC:Windows 11。Steampipe と Powerpipe は WSL2 の Ubuntu 24.04 に入れる
- Steampipe CLI v2.4.7、AWS プラグイン v1.34.0、Powerpipe v1.5.6(いずれも記事作成時点の最新版)
- 認証:IAM Identity Center(SSO)のプロファイル
dev、リージョンは東京(ap-northeast-1)。AWS CLI とプロファイルの準備は ポートフォワード PART 02 を参照 - SQL は PostgreSQL の文法。基本的な
select・where・group by・joinが読めれば十分
| 回 | 内容 | こんなときに読む |
|---|---|---|
| PART 01 | 全体像と仕組み(この記事) | Steampipe を初めて使う |
| PART 02 | Windows(WSL2)での環境準備と接続確認 | インストールしたい・Windows の認証情報を使いたい |
| PART 03 | クエリの基本パターン | クエリが遅い・結果が古い・JSONB の列が読めない |
| PART 04 | 全リージョンの棚卸しクエリ | 全リージョンのリソースを一覧にして Excel で開きたい |
| PART 05 | メトリクスとコスト | CPU 使用率や月別コストを SQL で集計したい |
| PART 06 | 複数アカウントとトラブルシューティング | 複数アカウントをまとめて見たい・エラーが出た |
| PART 07 | Powerpipe でベンチマークとダッシュボード | CIS ベンチマークでセキュリティ設定をチェックしたい |
| PART 08 | 付録:取れる情報一覧と逆引き SQL | 「これは取れる?」を調べたい |
✅ 次の記事では…
PART 02 では、WSL2 に Steampipe を入れ、Windows 側の AWS CLI の設定をそのまま使えるようにして、接続を確認する。