アカウントごとに接続を作る

Steampipe の AWS プラグインでは、1つの接続が1つのアカウントに対応する。複数のアカウントを見たいときは、プロファイルごとに接続を作る。boto3 の PART 06 で紹介した3つの方法のうち、「config にプロファイルを並べる」方法と同じ考え方だ。

まず、Windows 側の .aws/config に、アカウントごとのプロファイルを用意する。IAM Identity Center を使っているなら、sso-session を共有するプロファイルを並べておくと、1回のログインで全プロファイルが使える。

C:\Users\taro\.aws\config(WSL からは ~/.aws/config)
[sso-session my-sso]
sso_start_url = https://d-xxxxxxxxxx.awsapps.com/start
sso_region = ap-northeast-1
sso_registration_scopes = sso:account:access

[profile dev]
sso_session = my-sso
sso_account_id = 111111111111
sso_role_name = ReadOnly
region = ap-northeast-1

[profile stg]
sso_session = my-sso
sso_account_id = 222222222222
sso_role_name = ReadOnly
region = ap-northeast-1

[profile prod]
sso_session = my-sso
sso_account_id = 333333333333
sso_role_name = ReadOnly
region = ap-northeast-1
PowerShell:3つのプロファイルにまとめてログイン
aws sso login --sso-session my-sso

次に、aws.spc にプロファイルの数だけ接続を書く。既定で作られた aws という接続は、後述する search_path の都合で名前を変えるか削除しておく。

~/.steampipe/config/aws.spc
connection "aws_dev" {
  plugin  = "aws"
  profile = "dev"
  regions = ["*"]
}

connection "aws_stg" {
  plugin  = "aws"
  profile = "stg"
  regions = ["*"]
}

connection "aws_prod" {
  plugin  = "aws"
  profile = "prod"
  regions = ["*"]
}

接続はそれぞれ PostgreSQL のスキーマになるので、スキーマ名.テーブル名 で特定のアカウントだけを問い合わせられる。

SQL
select instance_id, title, instance_state
from aws_prod.aws_ec2_instance;

aggregatorで1つのテーブルにまとめる

アカウントをまたいで1つの結果にしたいときは、aggregator という種類の接続を作る。aggregator は自分では API を呼ばず、指定した接続の結果をまとめて返す。

~/.steampipe/config/aws.spc(追記)
connection "aws_all" {
  plugin      = "aws"
  type        = "aggregator"
  connections = ["aws_*"]
}

connections にはワイルドカードが使えるので、aws_ で始まる接続(aws_all 自身を除く)がすべて対象になる。アカウントを増やしたら、接続を1つ足すだけで aggregator にも入る。

どのアカウントの行かは account_id 列でわかる。どの接続から来た行かを知りたいときは、各テーブルにある _ctx 列(実行時の情報が入った JSONB)から取り出す。

SQL:アカウント・状態ごとの EC2 の台数
select
  _ctx ->> 'connection_name' as connection,
  account_id,
  instance_state,
  count(*) as instances
from
  aws_all.aws_ec2_instance
group by
  1, 2, 3
order by
  1, 3;

PART 04 の棚卸しクエリも、テーブル名を aws_all. 付きにする(または後述の search_path を設定する)だけで、全アカウント×全リージョンの棚卸しになる。boto3 で書いた「アカウントを回すループ」と「リージョンを回すループ」の二重ループが、どちらも設定ファイルに移ったことになる。

⚠️ API の呼び出しは「接続の数 × リージョンの数」になる

aggregator は便利だが、呼び出しが減るわけではない。3アカウント×17リージョンなら、一覧の API だけで51回呼ばれる。select * を避けて必要な列だけを選ぶこと、使っていないリージョンを regions から外すこと、キャッシュの有効期間を延ばすこと(PART 03)が、ここでは特に効いてくる。

どの接続が使われるか:search_path

スキーマ名を付けずに aws_ec2_instance と書いたとき、どの接続のテーブルが使われるのか。これは PostgreSQL の search_path で決まる。既定の search_path は「public、続いてすべての接続を名前のアルファベット順」で、そのテーブルを持つ最初の接続が使われる。

上の設定なら、順番は aws_all、aws_dev、aws_prod、aws_stg なので、スキーマ名なしの問い合わせは aws_all(全アカウント)になる。公式ドキュメントが「aggregator はアルファベット順で最初に来る名前にする」と勧めているのはこのためだ。

⚠️ 既定の aws 接続を残したままだと、1アカウント分しか返らない

インストール時に作られた aws 接続を残しておくと、aws は aws_all よりアルファベット順で前に来る。スキーマ名なしの問い合わせは aws(既定のプロファイルの1アカウント)に向かい、エラーも出ないまま「全アカウントを見ているつもりで1アカウントだけ」になる。複数アカウントにするときは、既定の接続を消すか aws_default などに名前を変えておく。

今の search_path は、対話モードの .search_path で確認できる。順番を明示的に決めたいときは、次のいずれかで aws_all を先頭に足す。

方法書き方効く範囲
対話モードのメタコマンド.search_path_prefix aws_allそのセッションだけ
コマンドの引数steampipe query --search-path-prefix aws_all inventory.sqlそのコマンドだけ
default.spc の options "database"search_path_prefix = "aws_all"データベース全体(DB ツールや Powerpipe からの接続にも効く)

DB ツールや Powerpipe(PART 07)から使うなら、default.spc に書いておくのが確実だ。

AssumeRoleで各アカウントのロールを使う

IAM Identity Center を使わず、管理アカウントの認証情報から各アカウントのロールを引き受ける構成なら、role_arn と source_profile を書いたプロファイルを使う。MFA が不要なら、Steampipe はこのプロファイルをそのまま使える。

~/.aws/config(AssumeRole の例)
[profile mgmt]
sso_session = my-sso
sso_account_id = 999999999999
sso_role_name = ReadOnly
region = ap-northeast-1

[profile audit-111111111111]
role_arn = arn:aws:iam::111111111111:role/SteampipeReadOnly
source_profile = mgmt
region = ap-northeast-1

引き受けられる側のロールに必要な信頼ポリシーは、boto3 の PART 06 と同じなので、そちらを参照してほしい。

アカウントが多い場合、プロファイルと接続を手で書くのは大変だ。Organizations の管理アカウントに接続(ここでは aws_mgmt)できているなら、Steampipe 自身にアカウントの一覧を出させて、設定ファイルを作ることもできる。

WSL(bash):有効なアカウントごとに接続の定義を追記する
steampipe query --output csv --header=false \
  "select id from aws_mgmt.aws_organizations_account where state = 'ACTIVE' order by id" |
while read -r id; do
  cat <<EOF
connection "aws_${id}" {
  plugin  = "aws"
  profile = "audit-${id}"
  regions = ["*"]
}

EOF
done >> ~/.steampipe/config/aws.spc

アカウント ID は数字だけなので、CSV の1列をそのまま読み込める。同じ要領で、[profile audit-…] の定義を作ることもできる(~/.aws/config は Windows 側のファイルなので、追記する前にバックアップを取っておく)。

💡 MFA が必要なロールは事前に一時認証情報を作る

Steampipe は実行中に MFA のコードを聞いてこないため、MFA が必要な AssumeRole のプロファイルはそのままでは使えない。公式ドキュメントでは、credential_process で一時的な認証情報を作るスクリプト(プラグインのリポジトリにある mfa.sh)を使う方法が紹介されている。期限が切れたら、Steampipe の外で作り直す必要がある。

結果がおかしいときの切り分けの順番

Steampipe のトラブルで厄介なのは、エラーにならずに結果が足りないケースがあることだ。結果が想定と違うときは、次の順で確かめる。

  1. どの接続を見ているか:.search_path を確認する。スキーマ名を付けて(aws_all.)問い合わせ直して結果が変わるなら、search_path の問題
  2. どのアカウントとして接続しているか:select _ctx ->> 'connection_name', account_id, arn from aws_all.aws_sts_caller_identity で、接続ごとのアカウントとロールを確かめる
  3. どのリージョンを見ているか:aws.spc の regions を確認する。省略していると1リージョンだけになる(PART 01)
  4. 古い結果ではないか:.cache clear してから再実行する(PART 03)
  5. エラーを無視していないか:ignore_error_codes を設定していると、権限不足のリージョンやサービスは黙って結果から抜ける(後述)

症状別の原因と対処

症状よくある原因対処
テーブルが存在しないというエラーテーブル名の誤り、またはプラグインが古く、そのテーブルがまだない.inspect aws で名前を確かめる。steampipe plugin update aws で更新する
AccessDenied・UnauthorizedOperationその API の権限がない。エラーに出ているアクション名を見る必要な列だけを選ぶ(PART 03)。権限を足す。組織の SCP で拒否されているならリージョンを外す
認証情報が見つからない・期限切れSSO のトークン切れ、~/.aws のリンク切れPowerShell で aws sso login。直らなければ steampipe service restart(PART 02)
エラーは出ないが行が少ないsearch_path・regions・キャッシュ・ignore_error_codes上の「切り分けの順番」をたどる
CloudTrail の検索結果が空aws_cloudtrail_lookup_event で、検索の条件にできる列(event_name・username など)を2つ以上 = で指定した。API の制限で検索属性は1つまでのため、空の結果になる属性の条件は1つにして、残りは like などで絞る(PART 08)
とても遅い・終わらないselect *、リージョンやアカウントが多い、JOIN で API が繰り返し呼ばれている列を絞る。.timing on で Hydrate calls を見る。--query-timeout で打ち切り時間を決める
スロットリング(Throttling・Rate exceeded)が続く短時間に同じ API を大量に呼んでいる自動でリトライされるが、続くならリージョン・列を絞る。プラグインの limiter で同時実行数を下げる

最後の limiter は、プラグイン単位で API の同時実行数や1秒あたりの回数を制限する設定だ。たとえば、接続ごと・リージョンごとに同時実行を10までに抑えるなら次のように書く。

~/.steampipe/config/aws.spc(追記)
plugin "aws" {
  limiter "aws_per_region" {
    max_concurrency = 10
    scope           = ["connection", "region"]
  }
}

エラーを無視する設定の使いどころ

組織の SCP で一部のリージョンが禁止されていると、regions = ["*"] にしたときに、そのリージョンへの呼び出しが拒否されてクエリ全体がエラーになる。このような「拒否されるのが正しい」エラーは、接続の設定で無視できる。

~/.steampipe/config/aws.spc
connection "aws_prod" {
  plugin  = "aws"
  profile = "prod"
  regions = ["*"]

  # SCP による明示的な拒否だけを無視する
  ignore_error_messages = [".*with an explicit deny in a service control policy.*"]
}

エラーコードで指定する ignore_error_codes = ["AccessDenied", "UnauthorizedOperation"] も使えるが、こちらは範囲が広い。権限の設定ミスで本来見えるべきリソースが見えていない場合も、エラーにならずに結果から抜け落ちるからだ。無視するのは、理由がはっきりしているエラーに限り、できればメッセージで絞り込む ignore_error_messages を使うことをすすめる。そもそも使っていないリージョンなら、regions から外すほうが速くて確実だ。

それでも分からないときはログを見る

プラグインのログは ~/.steampipe/logs/ に日付ごとのファイル(plugin-日付.log)として出力される。既定のレベルは warn なので、詳しく見たいときは環境変数 STEAMPIPE_LOG_LEVEL を debug などにして実行する。サービスを起動している場合は、環境変数を付けて起動し直す。

WSL(bash)
# サービスを詳細ログで起動し直す
steampipe service stop
STEAMPIPE_LOG_LEVEL=debug steampipe service start --database-listen local

# 別のターミナルでログを追う
tail -f ~/.steampipe/logs/plugin-$(date +%F).log | grep -i error

ログには、呼び出した API やリージョン、エラーの内容が出る。どの API で失敗しているかが分かれば、権限の追加やリージョンの除外など、手を打つ場所が決まる。調査が終わったら、通常のレベルで起動し直しておく(debug のままだとログが大きくなる)。

💡 boto3 の切り分けとの違い

boto3 では、どの API を呼んだかは自分のコードに書いてある。Steampipe では1つのテーブルの裏で複数の API が呼ばれるため、まず「どの列(どの API)で失敗しているか」を特定するのが近道になる。列を1つずつ減らして実行してみるのも、ログを読むより早いことが多い。

✅ 次の記事では…

PART 07 では、Steampipe をデータの取得元にして、Powerpipe で CIS AWS Foundations Benchmark を実行し、結果をダッシュボードで確認する。

→ PART 07 — Powerpipeでベンチマークとダッシュボードへ