Steampipeでできること

AWS の情報をまとめて確認したいとき、これまでの選択肢は「コンソールで目で見る」「AWS CLI の出力を加工する」「boto3 でスクリプトを書く」のどれかだった。Steampipe はここに 「SQL で問い合わせる」 という4つ目の方法を加える。

たとえば「東京リージョンで動いている EC2 を、インスタンスタイプごとに数える」なら、次の SQL で済む。

SQL
select
  instance_type,
  count(*) as instances
from
  aws_ec2_instance
where
  instance_state = 'running'
group by
  instance_type
order by
  instances desc;

boto3 で同じことをするなら、Session を作り、describe_instances のページネーションを回し、Reservations の下の Instances を取り出して数える、というコードを書くことになる。Steampipe では、そうした「API の呼び方」の部分をプラグインが肩代わりし、利用者は 欲しい結果の形だけを SQL で書けばよい。

Steampipe は Turbot 社が開発しているオープンソースのツールで、本体(CLI)は AGPLv3、AWS などのプラグインは Apache 2.0 で公開されている。プラグインは AWS 以外にも Azure・Google Cloud・GitHub・Kubernetes などがあるが、このシリーズでは AWS プラグインに絞る。

💡 読み取り専用の道具である

Steampipe のテーブルは select 専用で、insert・update・delete で AWS のリソースを変更することはできない。リソースを変更する心配がないので、本番アカウントの調査にも使いやすい。

仕組み:SQLがAPI呼び出しに変わるまで

Steampipe の中身は、PostgreSQL のデータベースだ。インストールすると PostgreSQL 14 が一緒に入り、AWS の API が「外部テーブル」として見える状態で起動する。SQL を実行すると、次の順に処理が進む。

WSL2上のSteampipe(内蔵PostgreSQL・FDW・AWSプラグイン)からAWSの各リージョンのAPIを呼び出す流れ

図1: Steampipe が SQL を AWS の API 呼び出しに変える流れ(このシリーズの環境)

  1. 内蔵 PostgreSQL が SQL を受け取る。steampipe query のほか、PostgreSQL に接続できるツール(DBeaver や psql など)からも同じように問い合わせられる
  2. FDW(Foreign Data Wrapper:PostgreSQL の外にあるデータをテーブルとして見せる仕組み)が、どのテーブルのどの列が必要か、where にどんな条件があるかをプラグインに伝える
  3. AWS プラグイン(別プロセスで動き、gRPC で FDW とやりとりする)が、テーブルに対応する API を呼ぶ。ページネーション・リトライ・複数リージョンへの並列呼び出し・結果のキャッシュはプラグインが行う
  4. API のレスポンスを行と列に変換して PostgreSQL に返す。ここから先の join・group by・order by は、普通の PostgreSQL として処理される

つまり Steampipe は「データをためておくデータベース」ではない。問い合わせのたびに API を呼んで、その場で結果を作る。いつも最新の状態を返す反面、テーブルを大きく取りすぎると API の呼び出しが増えて遅くなる。この性質は、PART 03 で扱う「速く・漏れなく取る書き方」の前提になる。

もう1つ覚えておきたいのが 接続(connection) という単位だ。設定ファイルに書いた接続ごとに PostgreSQL のスキーマが1つでき、AWS の場合は通常「1接続=1アカウント」になる。最初に入る接続の名前は aws なので、aws.aws_ec2_instance のようにスキーマ名を付けて書くこともできる(複数アカウントでの使い分けは PART 06)。

テーブル名とAPIの対応

テーブル名は aws_サービス_リソース という形で、記事作成時点の AWS プラグイン(v1.34.0)には580を超えるテーブルがある。boto3 の記事で整理した API 名と並べると、次のように対応する。

Steampipe のテーブル主に呼ばれる APIboto3 で書くと
aws_ec2_instanceDescribeInstancesec2.describe_instances()
aws_ebs_volumeDescribeVolumesec2.describe_volumes()
aws_lambda_functionListFunctionslambda_client.list_functions()
aws_iam_access_keyListUsers → ListAccessKeys → GetAccessKeyLastUsed3つの API を組み合わせる
aws_cost_by_service_monthlyGetCostAndUsage(サービス別・月別)ce.get_cost_and_usage(...)

表の4行目のように、1つのテーブルの裏で複数の API が呼ばれることがある。boto3 では「ユーザー一覧を取り、ユーザーごとにキーを取り、キーごとに最終使用日を取る」と書く処理が、Steampipe では1つのテーブルに見える。便利な反面、どの列がどの API から来ているかで速さが変わるので、PART 03 でもう一度取り上げる。

列名は、API のレスポンスのキーをスネークケースにしたものが基本だ(InstanceType → instance_type)。ただし、扱いやすいように加工された列もある。代表的なものを挙げておく。

列中身
account_id / regionどのアカウント・リージョンの行か。ほぼすべてのテーブルにある
tagsタグを {"Name": "web-01"} の形にした JSONB。boto3 で書いていた変換関数が不要になる
tags_srcAPI が返した元の形([{"Key": ..., "Value": ...}])
title人が読むための名前。Name タグがあればその値、なければ ID など
akasリソースの ARN などの識別子の配列
instance_state など入れ子の State.Name を1つの列に取り出したもの

boto3との使い分け

同じ「AWS の情報を取る」道具でも、得意なことは違う。筆者は次のように使い分けている。

Steampipe(SQL)boto3(Python)
向いている作業調べもの・棚卸し・監査など、条件を変えながら何度も問い合わせる作業取得した結果をもとに処理を分岐させる・他のシステムに渡すなど、手順が決まった自動化
全リージョン・複数アカウント設定ファイルに書くだけ(PART 04・06)ループを書く
サービスをまたぐ突き合わせjoin で書ける(EC2 とメトリクス、EC2 と SSM など)dict を自分で突き合わせる
新しい API への対応プラグインにテーブルが追加されるのを待つboto3 の更新ですぐ使える
実行環境Linux / macOS。Windows は WSL2 が必要Python があればどこでも
リソースの変更できない(読み取り専用)できる

実務では、Steampipe で当たりを付けて、決まった処理になったら boto3 のスクリプトにするという流れがうまくいきやすい。SQL で条件を試行錯誤しているうちは、コードを書き直すよりずっと速いからだ。逆に、Steampipe にテーブルがない API や、取得した結果で処理を分ける必要があるものは、最初から boto3 で書いたほうがよい。

最初の一歩:EC2の一覧を出す

準備(PART 02)が終わっていれば、WSL のターミナルで steampipe query と打つと対話モードになる。ここに SQL を入力して Enter を押せば、結果が表で返る。

WSL(bash)
$ steampipe query
Welcome to Steampipe v2.4.7
For more information, type .help
> select instance_id, instance_state, instance_type, tags ->> 'Name' as name
  from aws_ec2_instance;
出力例(IDはマスク)
+---------------------+----------------+---------------+----------+
| instance_id         | instance_state | instance_type | name     |
+---------------------+----------------+---------------+----------+
| i-0123456789abcdef0 | running        | t3.micro      | web-01   |
| i-0fedcba9876543210 | stopped        | t3.small      | batch-01 |
+---------------------+----------------+---------------+----------+

boto3 版の最初の一歩と比べると、ページネーションの処理も、タグを dict に変換する処理も書いていない。取得漏れを防ぐページネーションはプラグインが必ず行うので、件数が多い環境でも全件が返る。

対話モードを使わず、コマンド1行で結果だけ欲しいときは、SQL を引数に渡す。

WSL(bash)
steampipe query "select instance_id, instance_state from aws_ec2_instance"

⚠️ 何も設定しないと、見えるのは1リージョンだけ

インストール直後の設定では、AWS CLI と同じく既定のリージョン(プロファイルの region)だけが対象になる。他のリージョンに EC2 があっても結果に出てこないので、「全部見えている」と思い込まないようにしたい。全リージョンを対象にする設定は PART 04 で行う。

読み取り専用の権限を選ぶ

Steampipe は読み取りしかしないが、それでも 使う認証情報そのものを読み取り専用にしておくのが安全だ。同じプロファイルを AWS CLI やスクリプトでも使うなら、なおさらである。

AWS プラグインの公式ドキュメントは、AWS 管理ポリシー ReadOnlyAccess を推奨している。ただし ReadOnlyAccess は S3 オブジェクトの中身や DynamoDB の項目まで読めるため、範囲が広い。棚卸しや設定の確認が目的なら、まず ViewOnlyAccess と SecurityAudit を組み合わせて試し、足りないテーブルが出てきたら必要なアクションを足す、という進め方が現実的だ。

AWS管理ポリシーSteampipe で使うときの注意
ReadOnlyAccess公式の推奨。ほぼすべてのテーブルが動くが、データの中身まで読める
ViewOnlyAccess一覧系のテーブルは動くが、詳細設定を返す列(S3 バケットのポリシーなど)が権限不足になることがある
SecurityAuditIAM・CloudTrail・セキュリティ設定の列を補う。ViewOnlyAccess と組み合わせる
(追加で必要)コストのテーブルには ce:GetCostAndUsage などが別途必要(PART 05)

権限が足りないテーブルを問い合わせると、エラーになって結果が返らない。どのテーブルでどんなエラーが出るか、エラーを無視して進める設定の使いどころは PART 06 で扱う。

このシリーズの前提環境と構成

  • ローカルPC:Windows 11。Steampipe と Powerpipe は WSL2 の Ubuntu 24.04 に入れる
  • Steampipe CLI v2.4.7、AWS プラグイン v1.34.0、Powerpipe v1.5.6(いずれも記事作成時点の最新版)
  • 認証:IAM Identity Center(SSO)のプロファイル dev、リージョンは東京(ap-northeast-1)。AWS CLI とプロファイルの準備は ポートフォワード PART 02 を参照
  • SQL は PostgreSQL の文法。基本的な select・where・group by・join が読めれば十分
回内容こんなときに読む
PART 01全体像と仕組み(この記事)Steampipe を初めて使う
PART 02Windows(WSL2)での環境準備と接続確認インストールしたい・Windows の認証情報を使いたい
PART 03クエリの基本パターンクエリが遅い・結果が古い・JSONB の列が読めない
PART 04全リージョンの棚卸しクエリ全リージョンのリソースを一覧にして Excel で開きたい
PART 05メトリクスとコストCPU 使用率や月別コストを SQL で集計したい
PART 06複数アカウントとトラブルシューティング複数アカウントをまとめて見たい・エラーが出た
PART 07Powerpipe でベンチマークとダッシュボードCIS ベンチマークでセキュリティ設定をチェックしたい
PART 08付録:取れる情報一覧と逆引き SQL「これは取れる?」を調べたい

✅ 次の記事では…

PART 02 では、WSL2 に Steampipe を入れ、Windows 側の AWS CLI の設定をそのまま使えるようにして、接続を確認する。

→ PART 02 — Windows(WSL2)での環境準備と接続確認へ