ポストモーテムで定義すべきこと
障害の根本原因・タイムライン・再発防止策の定義方法

## タイムライン（全時刻 JST）

| 時刻  | イベント | 担当者 |
|-------|---------|--------|
| 14:28 | v2.3.1 本番デプロイ完了（接続プールサイズ設定ミスを含む） | CI/CD 自動 |
| 14:32 | Datadog が `/orders` の 5xx エラー率 50% 超えをアラート | — |
| 14:33 | オンコール担当（山田）が Pagerduty 通知を受信 | 山田 |
| 14:36 | Datadog ダッシュボードで Redis 接続待ち時間の急上昇を確認 | 山田 |
| 14:41 | 佐藤（バックエンドTL）に Slack でエスカレーション | 山田 |
| 14:45 | デプロイログを確認し、v2.3.1 で接続プール設定が変更されていたことを特定 | 佐藤 |
| 14:52 | v2.3.0 へのロールバック開始 | 佐藤 |
| 15:01 | ロールバック完了。/orders エラー率が 0% に回復 | 佐藤 |
| 15:10 | Redis 接続プールが完全に解放されてメトリクスが正常値に戻る | — |
| 15:15 | カスタマーサポートに障害解消をアナウンス | 山田 |
| 15:48 | 全サービスの正常動作を確認し、インシデントをクローズ | 山田 |

## 根本原因分析（5 Why）

**直接原因:** Redis 接続プールが枯渇し、注文 API が新規接続を取得できなかった。

**なぜ 1:** v2.3.1 のデプロイで Redis 接続プールサイズが 100 → 10 に誤って変更されたから。

**なぜ 2:** 接続プールサイズを環境変数ではなくハードコードで変更し、
           開発環境の値がそのまま本番に混入したから。

**なぜ 3:** 本番デプロイ前のコードレビューで、設定値の変更が目的外の変更と
           気づかれなかったから（PR の変更差分が大きく埋もれていた）。

**なぜ 4:** 接続プールサイズの変更は CI で自動検出されず、
           レビュアーが目視確認するしかない状態だったから。

**なぜ 5:** インフラ設定値の変更に対するポリシー（Infrastructure as Code の
           必須化・設定変更の Lint チェック）が整備されていなかったから。

**根本原因:**
インフラ設定値（接続プールサイズ等）が環境変数または IaC で管理されておらず、
コード内のハードコードと混在していたため、レビューで検出できなかった。
また、設定値の異常を CI/CD パイプラインで自動検出する仕組みがなかった。

# ポストモーテム: [タイトル]

> **ステータス:** ドラフト / レビュー中 / 最終版
> **インシデント番号:** INC-YYYY-NNNN
> **作成者:** [名前]
> **レビュアー:** [名前], [名前]
> **最終更新:** YYYY-MM-DD

---

## 1. 障害サマリー

| 項目 | 内容 |
|------|------|
| 重大度 | SEV? |
| 発生日時 | YYYY-MM-DD HH:MM JST |
| 復旧日時 | YYYY-MM-DD HH:MM JST |
| ダウンタイム | ? 時間 ? 分 |
| 検出方法 | アラート / ユーザー報告 |

**一言概要（2〜3文）:**
[何が起きて、なぜ起きて、どう解決したか]

---

## 2. 影響範囲

- 影響ユーザー数:
- 失敗リクエスト数:
- 売上損失（推定）:
- SLA 影響:

---

## 3. タイムライン

| 時刻 | イベント | 担当者 |
|------|---------|--------|
| HH:MM | [イベント] | [名前] |

---

## 4. 根本原因分析

**直接原因:**

**5 Why:**
1. なぜ:
2. なぜ:
3. なぜ:
4. なぜ:
5. なぜ:

**根本原因:**

---

## 5. うまくいったこと / うまくいかなかったこと

**うまくいったこと:**
- [良かった対応]

**うまくいかなかったこと:**
- [改善すべき対応]

---

## 6. アクションアイテム

| ID | アクション | 担当者 | 期限 | 優先度 |
|----|-----------|--------|------|--------|
| ACT-01 | | | | |

"""
Datadog / PagerDuty などのアラートログ（JSON Lines 形式）から
ポストモーテム用タイムラインの Markdown 草稿を生成する。

入力例 (alerts.jsonl):
{"timestamp": "2026-06-15T05:32:00Z", "source": "datadog", "message": "5xx error rate > 50%", "level": "CRITICAL"}
{"timestamp": "2026-06-15T05:41:00Z", "source": "slack", "message": "佐藤にエスカレーション", "level": "INFO"}
{"timestamp": "2026-06-15T05:52:00Z", "source": "github", "message": "Rollback PR merged v2.3.0", "level": "INFO"}
{"timestamp": "2026-06-15T06:01:00Z", "source": "datadog", "message": "5xx error rate back to 0%", "level": "INFO"}
{"timestamp": "2026-06-15T06:48:00Z", "source": "pagerduty", "message": "Incident INC-0042 resolved", "level": "INFO"}

使い方:
  python gen_postmortem_timeline.py alerts.jsonl --tz Asia/Tokyo
"""
import json
import sys
from datetime import datetime, timezone, timedelta
from pathlib import Path
import argparse

JST = timezone(timedelta(hours=9))

LEVEL_ICON = {
    "CRITICAL": "🔴",
    "ERROR":    "🟠",
    "WARNING":  "🟡",
    "INFO":     "🔵",
}

SOURCE_LABEL = {
    "datadog":   "Datadog",
    "pagerduty": "PagerDuty",
    "slack":     "Slack",
    "github":    "GitHub",
    "aws":       "AWS",
}

def parse_alerts(path: Path, local_tz: timezone = JST) -> list[dict]:
    events = []
    for line in path.read_text(encoding="utf-8").splitlines():
        line = line.strip()
        if not line:
            continue
        event = json.loads(line)
        dt = datetime.fromisoformat(event["timestamp"].replace("Z", "+00:00"))
        dt_local = dt.astimezone(local_tz)
        events.append({
            "time": dt_local,
            "source": SOURCE_LABEL.get(event.get("source", ""), event.get("source", "")),
            "message": event.get("message", ""),
            "level": event.get("level", "INFO"),
        })
    return sorted(events, key=lambda e: e["time"])

def render_timeline(events: list[dict]) -> str:
    lines = ["## タイムライン（全時刻 JST）\n", "| 時刻 | ソース | レベル | イベント |",
             "|------|-------|--------|---------|"]
    for e in events:
        time_str = e["time"].strftime("%H:%M")
        icon = LEVEL_ICON.get(e["level"], "⚪")
        lines.append(f"| {time_str} | {e['source']} | {icon} {e['level']} | {e['message']} |")
    return "\n".join(lines)

def main() -> None:
    parser = argparse.ArgumentParser()
    parser.add_argument("alerts_file", nargs="?", default="alerts.jsonl")
    args = parser.parse_args()

    path = Path(args.alerts_file)
    if not path.exists():
        print(f"ファイルが見つかりません: {path}", file=sys.stderr)
        sys.exit(1)

    events = parse_alerts(path)
    print(f"# タイムライン草稿（{len(events)} 件のイベント）")
    print(f"# ※ 手動で対応内容・担当者を追記してください\n")
    print(render_timeline(events))

if __name__ == "__main__":
    main()

"""
postmortems/ ディレクトリの Markdown ファイルを解析して
障害の発生パターン・重大度分布・根本原因カテゴリを集計する。

ファイル名規則: YYYY-MM-DD-INC-NNNN-title.md
フロントマター例:
  severity: SEV1
  root_cause_category: configuration / code / infra / external
  downtime_minutes: 76
"""
import re
from collections import Counter, defaultdict
from datetime import datetime
from pathlib import Path

FRONTMATTER = re.compile(r"^---\n(.*?)\n---", re.DOTALL)
KV = re.compile(r"^(\w+):\s*(.+)$", re.MULTILINE)

def parse_postmortem(path: Path) -> dict | None:
    text = path.read_text(encoding="utf-8")
    m = FRONTMATTER.match(text)
    if not m:
        return None
    meta = dict(KV.findall(m.group(1)))
    # ファイル名から日付を抽出
    date_m = re.search(r"(\d{4}-\d{2}-\d{2})", path.name)
    meta["date"] = datetime.strptime(date_m.group(1), "%Y-%m-%d") if date_m else None
    return meta

def analyze(root: str = "postmortems/") -> None:
    files = sorted(Path(root).glob("*.md"))
    incidents = [m for f in files if (m := parse_postmortem(f)) is not None]

    print(f"=== ポストモーテム分析レポート ({len(incidents)} 件) ===\n")

    # 重大度分布
    sev_count = Counter(i.get("severity", "不明") for i in incidents)
    print("【重大度別件数】")
    for sev, cnt in sorted(sev_count.items()):
        print(f"  {sev}: {cnt} 件")

    # 根本原因カテゴリ
    rc_count = Counter(i.get("root_cause_category", "不明") for i in incidents)
    print("\n【根本原因カテゴリ別件数】")
    for rc, cnt in sorted(rc_count.items(), key=lambda x: -x[1]):
        bar = "█" * cnt
        print(f"  {rc:<15} {bar} ({cnt} 件)")

    # 月別件数
    monthly = defaultdict(int)
    for i in incidents:
        if i.get("date"):
            monthly[i["date"].strftime("%Y-%m")] += 1
    print("\n【月別件数】")
    for month in sorted(monthly.keys()):
        bar = "█" * monthly[month]
        print(f"  {month}: {bar} ({monthly[month]} 件)")

    # 平均ダウンタイム
    downtimes = [int(i["downtime_minutes"]) for i in incidents if "downtime_minutes" in i]
    if downtimes:
        print(f"\n【ダウンタイム統計】")
        print(f"  平均: {sum(downtimes)/len(downtimes):.1f} 分")
        print(f"  最大: {max(downtimes)} 分")
        print(f"  最小: {min(downtimes)} 分")

if __name__ == "__main__":
    import sys
    analyze(sys.argv[1] if len(sys.argv) > 1 else "postmortems/")