PART 01 — 機能一覧表
業務機能の洗い出し・CRUD定義・優先度設定で定義すべきこと

"""
Apacheアクセスログから利用頻度の高いURLパスを集計して機能一覧作成に活用する。
pip install pandas
"""
import re
import pandas as pd
from pathlib import Path
from collections import Counter


# Apache Combined Log Format のパターン
LOG_PATTERN = re.compile(
    r'(\S+)\s+'         # IPアドレス
    r'\S+\s+\S+\s+'     # ident, authuser
    r'\[([^\]]+)\]\s+'  # 日時
    r'"(\S+)\s+(\S+)\s+\S+"\s+'  # メソッド, URL
    r'(\d{3})\s+'       # ステータスコード
    r'(\d+|-)'          # バイト数
)


def parse_access_log(log_path: str) -> pd.DataFrame:
    """アクセスログを解析してDataFrameに変換する"""
    records = []
    with open(log_path, encoding="utf-8", errors="replace") as f:
        for line in f:
            m = LOG_PATTERN.match(line.strip())
            if m:
                ip, dt, method, url, status, size = m.groups()
                # クエリストリングを除去してパスのみ取得
                path = url.split("?")[0]
                records.append({
                    "ip": ip,
                    "method": method,
                    "path": path,
                    "status": int(status),
                })

    return pd.DataFrame(records)


def extract_function_candidates(df: pd.DataFrame, top_n: int = 50) -> pd.DataFrame:
    """
    機能候補URLを抽出する。
    - 静的リソース（CSS/JS/画像）を除外
    - 成功レスポンス(2xx/3xx)のみ対象
    - アクセス数上位N件を返す
    """
    # 静的リソースを除外
    STATIC_EXTS = ('.css', '.js', '.png', '.jpg', '.gif', '.ico', '.woff', '.woff2', '.svg')
    mask_static = df['path'].apply(lambda p: not p.endswith(STATIC_EXTS))
    mask_success = df['status'].between(200, 399)

    filtered = df[mask_static & mask_success].copy()

    # GETとPOSTを分類してURLを集計
    url_counts = (
        filtered.groupby(['method', 'path'])
        .size()
        .reset_index(name='count')
        .sort_values('count', ascending=False)
        .head(top_n)
    )

    # CRUD推定（HTTPメソッドから推定）
    method_to_crud = {'GET': 'R（参照）', 'POST': 'C/U（登録/更新）', 'DELETE': 'D（削除）', 'PUT': 'U（更新）'}
    url_counts['CRUD推定'] = url_counts['method'].map(method_to_crud).fillna('不明')

    return url_counts


if __name__ == "__main__":
    LOG_FILE = "/var/log/apache2/access.log"  # ログファイルパスを変更

    df = parse_access_log(LOG_FILE)
    print(f"総リクエスト数: {len(df):,}件")

    candidates = extract_function_candidates(df, top_n=30)
    print("\n【機能候補URL 上位30件】")
    print(candidates.to_string(index=False))

    # Excelに出力して機能一覧作成に活用
    candidates.to_excel("function_candidates.xlsx", index=False)
    print("\nfunction_candidates.xlsx に出力しました")