PART 02 — Excel読み込みと形態素解析
pandas でデータ取得、janome で単語を切り出す

import pandas as pd

# Excel 読み込み（engine は openpyxl が自動選択される）
df = pd.read_excel("incident_log.xlsx")

print("=== 基本情報 ===")
print(f"shape : {df.shape}")         # (行数, 列数)
print(f"dtypes:\n{df.dtypes}")       # 各列の型
print()

print("=== 先頭 3 行 ===")
print(df.head(3).to_string())
print()

print("=== 欠損値チェック ===")
print(df.isnull().sum())

import pandas as pd

df = pd.read_excel("incident_log.xlsx")

# ─── 前処理 ─────────────────────────────────────────────────────────────
# 1. 分析対象の列を指定（複数列をまとめて分析する場合はリストに追加）
target_cols = ["障害内容", "原因"]

# 2. 欠損値を空文字に置換して列を結合（読点で連結することで文境界を保持）
text_series = df[target_cols].fillna("").apply(
    lambda row: "。".join(row.values.astype(str)), axis=1
)

# 3. 全行テキストを1つの文字列に結合（行間はスペース区切り）
combined_text = " ".join(text_series.tolist())

print(f"総文字数: {len(combined_text)}")
print("--- 先頭 100 文字 ---")
print(combined_text[:100])
print("---")
print()

# ─── 確認：空セルのある行をあえて作ってテスト ─────────────────────────────
import numpy as np
df_test = df.copy()
df_test.loc[0, "原因"] = np.nan   # 0 行目の「原因」を欠損にする

text_test = df_test[target_cols].fillna("").apply(
    lambda row: "。".join(row.values.astype(str)), axis=1
)
print("欠損ありでも連結できる例:")
print(text_test.iloc[0])   # → "データベース接続エラーが発生し、サービスが停止した。"

from janome.tokenizer import Tokenizer

t = Tokenizer()

# ── 短い文で動作確認 ───────────────────────────────────────
sample = "データベース接続エラーが発生し、サービスが停止した"

print(f"{'表層形':<18} {'品詞':<8} {'品詞細分類1':<10} {'基本形'}")
print("-" * 60)
for token in t.tokenize(sample):
    parts = token.part_of_speech.split(",")
    pos      = parts[0]   # 品詞（名詞・動詞・助詞…）
    pos_sub  = parts[1]   # 品詞細分類1
    base     = token.base_form  # 基本形（動詞の原形等）
    surface  = token.surface    # 表層形（元の文字列）
    print(f"{surface:<18} {pos:<8} {pos_sub:<10} {base}")

from janome.tokenizer import Tokenizer

def extract_words(text: str, use_base_form: bool = False) -> str:
    """
    テキストを形態素解析し、名詞・動詞・形容詞のみを
    スペース区切りの文字列として返す。

    Parameters
    ----------
    text : str
        解析対象テキスト
    use_base_form : bool, default False
        True にすると動詞・形容詞を基本形（原形）に変換して返す
        例: "停止した" → "停止 する" ではなく "停止 する"（動詞は基本形）

    Returns
    -------
    str
        スペース区切りの単語列
    """
    t = Tokenizer()
    # 抽出する品詞（大分類）
    keep_pos = {"名詞", "動詞", "形容詞"}
    # 除外する名詞の細分類（数字・記号・接尾辞など）
    exclude_noun_sub = {"数", "接尾", "非自立", "代名詞"}

    words = []
    for token in t.tokenize(text):
        parts     = token.part_of_speech.split(",")
        pos       = parts[0]       # 品詞（大分類）
        pos_sub   = parts[1]       # 品詞細分類1
        surface   = token.surface  # 表層形
        base_form = token.base_form  # 基本形

        # 対象品詞以外はスキップ
        if pos not in keep_pos:
            continue

        # 名詞：細分類による追加除外
        if pos == "名詞" and pos_sub in exclude_noun_sub:
            continue

        # 動詞の補助動詞（「して」の「し」など）を除外
        if pos == "動詞" and pos_sub == "非自立":
            continue

        # 表示に使うフォーム（基本形 or 表層形）
        word = base_form if (use_base_form and pos in {"動詞", "形容詞"}) else surface

        # 1 文字語・数字のみの語はノイズになるので除外
        if len(word) <= 1 or word.isdigit():
            continue

        words.append(word)

    return " ".join(words)


# ── 動作確認 ──────────────────────────────────────────────────────────
sample = "データベース接続エラーが発生し、サービスが停止した。コネクションプールの設定ミス"
result = extract_words(sample)
print("フィルタ後:")
print(result)

import pandas as pd
from janome.tokenizer import Tokenizer


def extract_words(text: str) -> str:
    """名詞・動詞・形容詞（1文字以上、数字除外）をスペース区切りで返す"""
    t = Tokenizer()
    keep_pos      = {"名詞", "動詞", "形容詞"}
    exclude_sub   = {"数", "接尾", "非自立", "代名詞"}
    words = []
    for token in t.tokenize(text):
        parts   = token.part_of_speech.split(",")
        pos     = parts[0]
        sub     = parts[1]
        surface = token.surface
        if pos not in keep_pos:
            continue
        if pos == "名詞" and sub in exclude_sub:
            continue
        if pos == "動詞" and sub == "非自立":
            continue
        if len(surface) <= 1 or surface.isdigit():
            continue
        words.append(surface)
    return " ".join(words)


def load_and_tokenize(
    filepath: str,
    text_cols: list[str],
    sheet_name: int | str = 0,
) -> str:
    """
    Excel を読み込み、指定列を結合して形態素解析した単語列を返す。

    Parameters
    ----------
    filepath   : Excel ファイルパス
    text_cols  : 分析対象の列名リスト
    sheet_name : シート名またはインデックス（デフォルト: 0）

    Returns
    -------
    str  スペース区切りの単語列
    """
    df = pd.read_excel(filepath, sheet_name=sheet_name)

    # 指定列の欠損を空文字に変換して結合
    text_series = (
        df[text_cols]
        .fillna("")
        .apply(lambda row: "。".join(row.values.astype(str)), axis=1)
    )

    combined = " ".join(text_series.tolist())
    tokenized = extract_words(combined)
    return tokenized


# ── エントリーポイント ────────────────────────────────────────────────────
if __name__ == "__main__":
    result = load_and_tokenize(
        filepath   = "incident_log.xlsx",
        text_cols  = ["障害内容", "原因"],
    )
    print(f"総単語数: {len(result.split())}")
    print("先頭 20 単語:")
    print(" / ".join(result.split()[:20]))