作るもの

この回のゴールは、boto3 の PART 04 で作った棚卸しスクリプトと同じ表を、SQL 1本で出すことだ。対象は EC2・EBS・RDS・Lambda・S3 の5種類で、サービスごとにばらばらな列を、次の共通の列にそろえる。

列中身例
account_idアカウント ID123456789012
regionリージョンap-northeast-1
service種類EC2 / EBS / RDS / Lambda / S3
id / nameリソースの ID と名前i-0123… / web-01
state状態running / available / Active
specタイプやサイズt3.micro / gp3 100GiB / python3.12
created作成日時(日本時間)2026-10-01 09:12
owner / envOwner・Env タグtaro / prod

boto3 版では、リージョンを回すループ、サービスごとの取り出し関数、タグの変換関数を書いた。Steampipe 版では、そのどれも書かない。全リージョンは設定ファイル、共通の列へのそろえ方は SQL の union all が受け持つ。

全リージョンを対象にする

PART 02 では regions = ["ap-northeast-1"] にしていた。これを ["*"] に変えると、どのテーブルも全リージョンに並列で問い合わせるようになる。

~/.steampipe/config/aws.spc
connection "aws" {
  plugin  = "aws"
  profile = "dev"
  regions = ["*"]
}

"*" は「標準のリージョンすべて」を意味し、["ap-*", "us-east-1"] のような書き方もできる。オプトインが必要なリージョン(香港 ap-east-1 など、2019年以降に追加されたリージョンの多く)のうち、アカウントで有効にしていないものは自動で除外される。プラグインが DescribeRegions で有効なリージョンを確かめてから問い合わせるためだ。実際にどのリージョンが対象になっているかは、次のクエリで確かめられる。

SQL
select name, opt_in_status
from aws_region
order by name;

リージョンを増やすと、それだけ API の呼び出しが増えて遅くなる。使っていないリージョンが明らかなら、["ap-northeast-1", "ap-northeast-3", "us-east-1"] のように絞ったほうが速い。ただ、棚卸しの目的は「知らないところにリソースがないか」を確かめることでもあるので、月に一度くらいは "*" で流しておきたい。

💡 S3 は regions の設定に関係なく全バケットが返る

S3 のバケット一覧(ListBuckets)は、どのリージョンから呼んでもアカウントの全バケットを返す。そのため aws_s3_bucket は、regions を1リージョンにしていても全バケットを返し、region 列でバケットの所在地がわかる。IAM のようなグローバルなサービスも、リージョンの数だけ重複して返ることはない。

サービスごとのクエリ

いきなり全体を書く前に、サービスごとに必要な列を確かめる。PART 03 のとおり、追加の API が呼ばれる列は必要なものだけにしている。

SQL:EC2
select instance_id, title, instance_state, instance_type, launch_time, tags
from aws_ec2_instance;
SQL:EBS
select volume_id, title, state, volume_type, size, create_time, tags
from aws_ebs_volume;
SQL:RDS
select db_instance_identifier, status, class, engine, engine_version, create_time, tags
from aws_rds_db_instance;
SQL:Lambda
select name, state, runtime, package_type, memory_size, last_modified, tags
from aws_lambda_function;
SQL:S3
select name, region, creation_date, tags
from aws_s3_bucket;

サービスごとのクセを押さえておく。

テーブル注意点
aws_ec2_instance終了(terminated)したインスタンスも、しばらくは結果に残る。棚卸しでは instance_state <> 'terminated' で除く
aws_ebs_volumestate = 'available' はどの EC2 にも付いていないボリューム。料金だけかかっている可能性がある(PART 08)
aws_rds_db_instanceAurora の場合、ここに出るのはクラスター内の各インスタンス。クラスター単位で見るなら aws_rds_db_cluster
aws_lambda_functionコンテナイメージの関数は runtime が空になる。tags は関数ごとに GetFunction が呼ばれるので、関数が多いと時間がかかる
aws_s3_bucketregion と tags はバケットごとに API が呼ばれる。creation_date は us-east-1 から一覧を取ったときだけ本来の作成日時になる(プラグインはそのように取得している)

共通の列にそろえる:完成したクエリ

5つのクエリを、列の名前と型をそろえて union all でつなぐ。union all では、各 select の列の数・順番・型が一致している必要があるので、数値や日時は文字列に変換しておく。作成日時は Excel で扱いやすいよう、日本時間の文字列にしている。

~/steampipe-work/inventory.sql
-- 全リージョンのリソース棚卸し(EC2・EBS・RDS・Lambda・S3)
with inventory as (
  select
    account_id, region, 'EC2' as service,
    instance_id as id, title as name,
    instance_state as state,
    instance_type as spec,
    launch_time as created,
    tags
  from aws_ec2_instance
  where instance_state <> 'terminated'

  union all
  select
    account_id, region, 'EBS',
    volume_id, title,
    state,
    volume_type || ' ' || size || 'GiB',
    create_time,
    tags
  from aws_ebs_volume

  union all
  select
    account_id, region, 'RDS',
    db_instance_identifier, db_instance_identifier,
    status,
    class || ' ' || engine || ' ' || engine_version,
    create_time,
    tags
  from aws_rds_db_instance

  union all
  select
    account_id, region, 'Lambda',
    name, name,
    state,
    coalesce(runtime, package_type) || ' ' || memory_size || 'MB',
    last_modified,
    tags
  from aws_lambda_function

  union all
  select
    account_id, region, 'S3',
    name, name,
    '-',
    '-',
    creation_date,
    tags
  from aws_s3_bucket
)
select
  account_id,
  region,
  service,
  id,
  name,
  state,
  spec,
  to_char(created at time zone 'Asia/Tokyo', 'YYYY-MM-DD HH24:MI') as created,
  tags ->> 'Owner' as owner,
  tags ->> 'Env'   as env
from
  inventory
order by
  service, region, name;

ポイントは3つある。

  • タグは最後に取り出す:各 select では tags(JSONB)をそのまま返し、外側でまとめて ->> 'Owner' する。取り出したいタグが増えても、1か所直せば済む
  • 文字列の連結で spec を作る:|| は数値も文字列にして連結する。ただし、どれか1つが NULL だと結果全体が NULL になるので、空になりうる列(Lambda の runtime)は coalesce で補う
  • 日時はタイムゾーンを指定して文字列にする:at time zone 'Asia/Tokyo' を付けると、WSL やデータベースのタイムゾーンの設定に左右されずに日本時間で出せる

CSVに出してExcelで開く

SQL をファイルに保存しておけば、steampipe query にファイル名を渡して実行できる。--output csv で CSV になるので、出力先を Windows 側のフォルダー(/mnt/c/...)にすれば、そのまま Excel で開ける。

WSL(bash)
cd ~/steampipe-work
steampipe query inventory.sql --output csv --progress=false \
  > /mnt/c/Users/taro/Documents/inventory.csv

⚠️ そのまま Excel で開くと日本語が文字化けする

Steampipe の CSV は BOM なしの UTF-8 で出力される。Excel はダブルクリックで開いた CSV を BOM なしだと Shift_JIS とみなすため、タグに日本語が入っていると文字化けする。先頭に BOM(EF BB BF)を付けて出力すれば、ダブルクリックで正しく開ける。

WSL(bash):BOM付きで日付入りのファイル名にする
out="/mnt/c/Users/taro/Documents/inventory_$(date +%Y%m%d).csv"
{ printf '\xEF\xBB\xBF'; steampipe query inventory.sql --output csv --progress=false; } > "$out"
explorer.exe "$(wslpath -w "$(dirname "$out")")"

最後の行は、出力したフォルダーを Windows のエクスプローラーで開くためのものだ(wslpath -w で WSL のパスを Windows のパスに変換している)。毎回使うなら、この3行を inventory.sh として保存しておくとよい。

出力形式は --output で次から選べる。

形式用途
table(既定)画面で確認する
csvExcel で開く。区切り文字は --separator、見出し行の有無は --header で変えられる
json他のプログラムに渡す。JSONB の列も JSON のまま入る
line1列1行で縦に表示する。列が多い1件を読むとき

タグで集計する・タグ漏れを探す

表ができたら、集計は SQL の得意分野だ。上の inventory.sql の with inventory as (...) の部分はそのままにして、最後の select だけを差し替える。

SQL:Env タグ × サービスの件数
-- with inventory as ( ... ) は inventory.sql と同じ
select
  coalesce(tags ->> 'Env', '(未設定)') as env,
  service,
  count(*) as resources
from inventory
group by 1, 2
order by 1, 2;
SQL:Owner タグが付いていないリソース
-- with inventory as ( ... ) は inventory.sql と同じ
select service, region, id, name
from inventory
where not (coalesce(tags, '{}'::jsonb) ? 'Owner')
order by service, region;

タグを1つも付けていないリソースでは tags が NULL になることがあるので、coalesce(tags, '{}'::jsonb) で空の JSON に置き換えてから ? で調べている。こうした「ルールどおりにタグが付いているか」の確認を定期的に行いたい場合は、PART 07 の Powerpipe で独自のチェックとして登録することもできる。

別のサービスを追加するには

DynamoDB や ALB を追加したいときも、union all のブロックを1つ足すだけだ。手順は次のとおり。

  1. .inspect aws でテーブル名を探す(例:aws_dynamodb_table、aws_ec2_application_load_balancer)
  2. .inspect テーブル名 で、ID・名前・状態・作成日時に当たる列を探す
  3. 共通の列の順番どおりに select を書き、union all でつなぐ
SQL:inventory に足すブロックの例
  union all
  select
    account_id, region, 'DynamoDB',
    name, name,
    table_status,
    coalesce(billing_mode, '-'),
    creation_date_time,
    tags
  from aws_dynamodb_table

  union all
  select
    account_id, region, 'ALB',
    arn, name,
    state_code,
    scheme,
    created_time,
    tags
  from aws_ec2_application_load_balancer

boto3 版では、サービスを足すたびにレスポンスの形を調べて取り出し関数を書く必要があった。Steampipe ではテーブルの形がそろっているので、列の対応さえ決めれば足せるのが大きな違いだ。

必要なIAMポリシー

このクエリを読み取り専用の最小権限で動かす場合、必要なアクションは次のとおり。DescribeRegions は有効なリージョンの確認に、GetCallerIdentity は account_id 列のために使われる。

IAM ポリシー(JSON)
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "SteampipeInventoryReadOnly",
      "Effect": "Allow",
      "Action": [
        "sts:GetCallerIdentity",
        "ec2:DescribeRegions",
        "ec2:DescribeInstances",
        "ec2:DescribeVolumes",
        "rds:DescribeDBInstances",
        "lambda:ListFunctions",
        "lambda:GetFunction",
        "s3:ListAllMyBuckets",
        "s3:GetBucketLocation",
        "s3:GetBucketTagging"
      ],
      "Resource": "*"
    }
  ]
}

このポリシーで別のテーブルや列を問い合わせると、権限不足でエラーになる。エラーメッセージに拒否されたアクションが出るので、それを足していけばよい。ViewOnlyAccess などの管理ポリシーを使う場合の考え方は PART 01 を参照してほしい。

✅ 次の記事では…

PART 05 では、CloudWatch のメトリクスと Cost Explorer のコストを SQL で取得し、EC2 の一覧と JOIN して CPU 使用率が低いインスタンスを洗い出す。

→ PART 05 — 実践:CloudWatchメトリクスとコストをSQLで取るへ