アカウントごとに接続を作る
Steampipe の AWS プラグインでは、1つの接続が1つのアカウントに対応する。複数のアカウントを見たいときは、プロファイルごとに接続を作る。boto3 の PART 06 で紹介した3つの方法のうち、「config にプロファイルを並べる」方法と同じ考え方だ。
まず、Windows 側の .aws/config に、アカウントごとのプロファイルを用意する。IAM Identity Center を使っているなら、sso-session を共有するプロファイルを並べておくと、1回のログインで全プロファイルが使える。
[sso-session my-sso]
sso_start_url = https://d-xxxxxxxxxx.awsapps.com/start
sso_region = ap-northeast-1
sso_registration_scopes = sso:account:access
[profile dev]
sso_session = my-sso
sso_account_id = 111111111111
sso_role_name = ReadOnly
region = ap-northeast-1
[profile stg]
sso_session = my-sso
sso_account_id = 222222222222
sso_role_name = ReadOnly
region = ap-northeast-1
[profile prod]
sso_session = my-sso
sso_account_id = 333333333333
sso_role_name = ReadOnly
region = ap-northeast-1aws sso login --sso-session my-sso次に、aws.spc にプロファイルの数だけ接続を書く。既定で作られた aws という接続は、後述する search_path の都合で名前を変えるか削除しておく。
connection "aws_dev" {
plugin = "aws"
profile = "dev"
regions = ["*"]
}
connection "aws_stg" {
plugin = "aws"
profile = "stg"
regions = ["*"]
}
connection "aws_prod" {
plugin = "aws"
profile = "prod"
regions = ["*"]
}接続はそれぞれ PostgreSQL のスキーマになるので、スキーマ名.テーブル名 で特定のアカウントだけを問い合わせられる。
select instance_id, title, instance_state
from aws_prod.aws_ec2_instance;aggregatorで1つのテーブルにまとめる
アカウントをまたいで1つの結果にしたいときは、aggregator という種類の接続を作る。aggregator は自分では API を呼ばず、指定した接続の結果をまとめて返す。
connection "aws_all" {
plugin = "aws"
type = "aggregator"
connections = ["aws_*"]
}connections にはワイルドカードが使えるので、aws_ で始まる接続(aws_all 自身を除く)がすべて対象になる。アカウントを増やしたら、接続を1つ足すだけで aggregator にも入る。
どのアカウントの行かは account_id 列でわかる。どの接続から来た行かを知りたいときは、各テーブルにある _ctx 列(実行時の情報が入った JSONB)から取り出す。
select
_ctx ->> 'connection_name' as connection,
account_id,
instance_state,
count(*) as instances
from
aws_all.aws_ec2_instance
group by
1, 2, 3
order by
1, 3;PART 04 の棚卸しクエリも、テーブル名を aws_all. 付きにする(または後述の search_path を設定する)だけで、全アカウント×全リージョンの棚卸しになる。boto3 で書いた「アカウントを回すループ」と「リージョンを回すループ」の二重ループが、どちらも設定ファイルに移ったことになる。
⚠️ API の呼び出しは「接続の数 × リージョンの数」になる
aggregator は便利だが、呼び出しが減るわけではない。3アカウント×17リージョンなら、一覧の API だけで51回呼ばれる。select * を避けて必要な列だけを選ぶこと、使っていないリージョンを regions から外すこと、キャッシュの有効期間を延ばすこと(PART 03)が、ここでは特に効いてくる。
どの接続が使われるか:search_path
スキーマ名を付けずに aws_ec2_instance と書いたとき、どの接続のテーブルが使われるのか。これは PostgreSQL の search_path で決まる。既定の search_path は「public、続いてすべての接続を名前のアルファベット順」で、そのテーブルを持つ最初の接続が使われる。
上の設定なら、順番は aws_all、aws_dev、aws_prod、aws_stg なので、スキーマ名なしの問い合わせは aws_all(全アカウント)になる。公式ドキュメントが「aggregator はアルファベット順で最初に来る名前にする」と勧めているのはこのためだ。
⚠️ 既定の aws 接続を残したままだと、1アカウント分しか返らない
インストール時に作られた aws 接続を残しておくと、aws は aws_all よりアルファベット順で前に来る。スキーマ名なしの問い合わせは aws(既定のプロファイルの1アカウント)に向かい、エラーも出ないまま「全アカウントを見ているつもりで1アカウントだけ」になる。複数アカウントにするときは、既定の接続を消すか aws_default などに名前を変えておく。
今の search_path は、対話モードの .search_path で確認できる。順番を明示的に決めたいときは、次のいずれかで aws_all を先頭に足す。
| 方法 | 書き方 | 効く範囲 |
|---|---|---|
| 対話モードのメタコマンド | .search_path_prefix aws_all | そのセッションだけ |
| コマンドの引数 | steampipe query --search-path-prefix aws_all inventory.sql | そのコマンドだけ |
default.spc の options "database" | search_path_prefix = "aws_all" | データベース全体(DB ツールや Powerpipe からの接続にも効く) |
DB ツールや Powerpipe(PART 07)から使うなら、default.spc に書いておくのが確実だ。
AssumeRoleで各アカウントのロールを使う
IAM Identity Center を使わず、管理アカウントの認証情報から各アカウントのロールを引き受ける構成なら、role_arn と source_profile を書いたプロファイルを使う。MFA が不要なら、Steampipe はこのプロファイルをそのまま使える。
[profile mgmt]
sso_session = my-sso
sso_account_id = 999999999999
sso_role_name = ReadOnly
region = ap-northeast-1
[profile audit-111111111111]
role_arn = arn:aws:iam::111111111111:role/SteampipeReadOnly
source_profile = mgmt
region = ap-northeast-1引き受けられる側のロールに必要な信頼ポリシーは、boto3 の PART 06 と同じなので、そちらを参照してほしい。
アカウントが多い場合、プロファイルと接続を手で書くのは大変だ。Organizations の管理アカウントに接続(ここでは aws_mgmt)できているなら、Steampipe 自身にアカウントの一覧を出させて、設定ファイルを作ることもできる。
steampipe query --output csv --header=false \
"select id from aws_mgmt.aws_organizations_account where state = 'ACTIVE' order by id" |
while read -r id; do
cat <<EOF
connection "aws_${id}" {
plugin = "aws"
profile = "audit-${id}"
regions = ["*"]
}
EOF
done >> ~/.steampipe/config/aws.spcアカウント ID は数字だけなので、CSV の1列をそのまま読み込める。同じ要領で、[profile audit-…] の定義を作ることもできる(~/.aws/config は Windows 側のファイルなので、追記する前にバックアップを取っておく)。
💡 MFA が必要なロールは事前に一時認証情報を作る
Steampipe は実行中に MFA のコードを聞いてこないため、MFA が必要な AssumeRole のプロファイルはそのままでは使えない。公式ドキュメントでは、credential_process で一時的な認証情報を作るスクリプト(プラグインのリポジトリにある mfa.sh)を使う方法が紹介されている。期限が切れたら、Steampipe の外で作り直す必要がある。
結果がおかしいときの切り分けの順番
Steampipe のトラブルで厄介なのは、エラーにならずに結果が足りないケースがあることだ。結果が想定と違うときは、次の順で確かめる。
- どの接続を見ているか:
.search_pathを確認する。スキーマ名を付けて(aws_all.)問い合わせ直して結果が変わるなら、search_path の問題 - どのアカウントとして接続しているか:
select _ctx ->> 'connection_name', account_id, arn from aws_all.aws_sts_caller_identityで、接続ごとのアカウントとロールを確かめる - どのリージョンを見ているか:
aws.spcのregionsを確認する。省略していると1リージョンだけになる(PART 01) - 古い結果ではないか:
.cache clearしてから再実行する(PART 03) - エラーを無視していないか:
ignore_error_codesを設定していると、権限不足のリージョンやサービスは黙って結果から抜ける(後述)
症状別の原因と対処
| 症状 | よくある原因 | 対処 |
|---|---|---|
| テーブルが存在しないというエラー | テーブル名の誤り、またはプラグインが古く、そのテーブルがまだない | .inspect aws で名前を確かめる。steampipe plugin update aws で更新する |
| AccessDenied・UnauthorizedOperation | その API の権限がない。エラーに出ているアクション名を見る | 必要な列だけを選ぶ(PART 03)。権限を足す。組織の SCP で拒否されているならリージョンを外す |
| 認証情報が見つからない・期限切れ | SSO のトークン切れ、~/.aws のリンク切れ | PowerShell で aws sso login。直らなければ steampipe service restart(PART 02) |
| エラーは出ないが行が少ない | search_path・regions・キャッシュ・ignore_error_codes | 上の「切り分けの順番」をたどる |
| CloudTrail の検索結果が空 | aws_cloudtrail_lookup_event で、検索の条件にできる列(event_name・username など)を2つ以上 = で指定した。API の制限で検索属性は1つまでのため、空の結果になる | 属性の条件は1つにして、残りは like などで絞る(PART 08) |
| とても遅い・終わらない | select *、リージョンやアカウントが多い、JOIN で API が繰り返し呼ばれている | 列を絞る。.timing on で Hydrate calls を見る。--query-timeout で打ち切り時間を決める |
| スロットリング(Throttling・Rate exceeded)が続く | 短時間に同じ API を大量に呼んでいる | 自動でリトライされるが、続くならリージョン・列を絞る。プラグインの limiter で同時実行数を下げる |
最後の limiter は、プラグイン単位で API の同時実行数や1秒あたりの回数を制限する設定だ。たとえば、接続ごと・リージョンごとに同時実行を10までに抑えるなら次のように書く。
plugin "aws" {
limiter "aws_per_region" {
max_concurrency = 10
scope = ["connection", "region"]
}
}エラーを無視する設定の使いどころ
組織の SCP で一部のリージョンが禁止されていると、regions = ["*"] にしたときに、そのリージョンへの呼び出しが拒否されてクエリ全体がエラーになる。このような「拒否されるのが正しい」エラーは、接続の設定で無視できる。
connection "aws_prod" {
plugin = "aws"
profile = "prod"
regions = ["*"]
# SCP による明示的な拒否だけを無視する
ignore_error_messages = [".*with an explicit deny in a service control policy.*"]
}エラーコードで指定する ignore_error_codes = ["AccessDenied", "UnauthorizedOperation"] も使えるが、こちらは範囲が広い。権限の設定ミスで本来見えるべきリソースが見えていない場合も、エラーにならずに結果から抜け落ちるからだ。無視するのは、理由がはっきりしているエラーに限り、できればメッセージで絞り込む ignore_error_messages を使うことをすすめる。そもそも使っていないリージョンなら、regions から外すほうが速くて確実だ。
それでも分からないときはログを見る
プラグインのログは ~/.steampipe/logs/ に日付ごとのファイル(plugin-日付.log)として出力される。既定のレベルは warn なので、詳しく見たいときは環境変数 STEAMPIPE_LOG_LEVEL を debug などにして実行する。サービスを起動している場合は、環境変数を付けて起動し直す。
# サービスを詳細ログで起動し直す
steampipe service stop
STEAMPIPE_LOG_LEVEL=debug steampipe service start --database-listen local
# 別のターミナルでログを追う
tail -f ~/.steampipe/logs/plugin-$(date +%F).log | grep -i errorログには、呼び出した API やリージョン、エラーの内容が出る。どの API で失敗しているかが分かれば、権限の追加やリージョンの除外など、手を打つ場所が決まる。調査が終わったら、通常のレベルで起動し直しておく(debug のままだとログが大きくなる)。
💡 boto3 の切り分けとの違い
boto3 では、どの API を呼んだかは自分のコードに書いてある。Steampipe では1つのテーブルの裏で複数の API が呼ばれるため、まず「どの列(どの API)で失敗しているか」を特定するのが近道になる。列を1つずつ減らして実行してみるのも、ログを読むより早いことが多い。
✅ 次の記事では…
PART 07 では、Steampipe をデータの取得元にして、Powerpipe で CIS AWS Foundations Benchmark を実行し、結果をダッシュボードで確認する。