# Writer署名: 入力→出力の型を定義
class WriterSignature(dspy.Signature):
    """ニュース記事からユーザー文脈に基づいた影響度分析を生成する"""
    
    title: str = dspy.InputField(desc="ニュース記事のタイトル")
    news_content: str = dspy.InputField(desc="ニュース記事の本文")
    user_context: str = dspy.InputField(desc="ユーザーの業界・職種")
    
    impact_score: int = dspy.OutputField(desc="影響度スコア（1-5）")
    article_summary: str = dspy.OutputField(desc="150文字前後の要約")
    positive_impact: str = dspy.OutputField(desc="ポジティブな影響の説明")
    negative_impact: str = dspy.OutputField(desc="ネガティブな影響の説明")
    short_term_action: str = dspy.OutputField(desc="短期アクション（5W1H明記）")

# Writerモジュール: ChainOfThoughtで推論プロセスを含む
class Writer(dspy.Module):
    def __init__(self):
        super().__init__()
        self.generate = dspy.ChainOfThought(WriterSignature)
    
    def forward(self, title, news_content, user_context):
        return self.generate(
            title=title,
            news_content=news_content,
            user_context=user_context
        )

print("✅ Writerモジュール定義完了")

# A: 根拠のない追加情報 (Faithfulness)
class FaithfulnessJudge(dspy.Signature):
    """出力（要約）が入力ニュース記事に基づいているか、幻覚がないかを判定"""
    source_text: str = dspy.InputField(desc="元のニュース記事本文")
    generated_text: str = dspy.InputField(desc="生成された要約")
    
    claims: list[str] = dspy.OutputField(desc="生成文から抽出した主要な主張リスト")
    unsupported_claims: list[str] = dspy.OutputField(desc="ソースに基づく根拠が見当たらない主張")
    score: float = dspy.OutputField(desc="0.0-1.0のスコア。1.0=全て根拠あり")

# B: こじつけ・熱量ズレ (Relevance Calibration)
class RelevanceJudge(dspy.Signature):
    """ニュースとユーザー文脈の関連性を評価し、Writerがつけたスコアが妥当か判定"""
    news_content: str = dspy.InputField(desc="ニュース記事")
    user_context: str = dspy.InputField(desc="ユーザーの業界・職種")
    stated_score: int = dspy.InputField(desc="Writerがつけた影響度スコア(1-5)")
    
    actual_score: int = dspy.OutputField(desc="客観的に見た適正スコア(1-5)")
    reasoning: str = dspy.OutputField(desc="適正スコアの理由")
    
# C: アクションが抽象的 (Action Specificity)
class ActionSpecificityJudge(dspy.Signature):
    """アクションアイテムが具体的（5W1H）で実行可能かを評価"""
    action_item: str = dspy.InputField(desc="提案されたアクション")
    
    has_what: bool = dspy.OutputField(desc="何をするか明確か")
    has_who: bool = dspy.OutputField(desc="誰がやるか明確か (自分/チーム等)")
    has_when: bool = dspy.OutputField(desc="期限やタイミングが明確か")
    has_how: bool = dspy.OutputField(desc="具体的な手段・ツールが明確か")
    is_actionable: bool = dspy.OutputField(desc="明日から即実行できる具体性があるか")

# モジュールのインスタンス化
faithfulness_judge = dspy.ChainOfThought(FaithfulnessJudge)
relevance_judge = dspy.ChainOfThought(RelevanceJudge)
action_judge = dspy.ChainOfThought(ActionSpecificityJudge)

print("✅ Judgeエージェント（Faithfulness, Relevance, Action）定義完了")

# --- 統合メトリクス ---

def combined_email_quality_metric(example, prediction, trace=None):
    """3つの課題を統合した品質スコア (LLM-as-a-Judge)"""
    
    # 1. Faithfulness Metric (課題A)
    # 要約が事実に即しているか
    try:
        f_result = faithfulness_judge(
            source_text=example.news_content,
            generated_text=prediction.article_summary
        )
        faithfulness_score = f_result.score
    except:
        faithfulness_score = 0.0

    # 2. Relevance Calibration Metric (課題B)
    # スコアのズレに対するペナルティ
    try:
        r_result = relevance_judge(
            news_content=example.news_content,
            user_context=example.user_context,
            stated_score=int(prediction.impact_score)
        )
        actual = r_result.actual_score
        stated = int(prediction.impact_score)
        
        # ズレに応じて減点 (過大評価をより重く罰する例など調整可能)
        diff = abs(actual - stated)
        if diff == 0:
            relevance_score = 1.0
        elif diff == 1:
            relevance_score = 0.5
        else:
            relevance_score = 0.0
    except:
        relevance_score = 0.0

    # 3. Action Specificity Metric (課題C)
    # 5W1Hの網羅度
    try:
        a_result = action_judge(action_item=prediction.short_term_action)
        components = [
            a_result.has_what,
            a_result.has_who, 
            a_result.has_when,
            a_result.has_how,
            a_result.is_actionable
        ]
        specificity_score = sum(components) / len(components)
    except:
        specificity_score = 0.0

    # 統合スコア (重み付け)
    # 誤情報(Faithfulness)は許容できないため高めの重み
    weights = {
        "faithfulness": 0.4,
        "relevance": 0.3,
        "specificity": 0.3
    }
    
    combined = (
        faithfulness_score * weights["faithfulness"] +
        relevance_score * weights["relevance"] +
        specificity_score * weights["specificity"]
    )
    
    # デバッグ用出力 (MIPROのログで確認可能)
    if trace is not None:
        pass # DSPyの内部トレース用
        
    return combined

print("✅ 統合評価メトリクス (LLM Judge) 定義完了")

### Writer実行: 最適化前

# デモ用のサンプルを選択
demo_sample = training_data[0]

# 最適化前のWriterを実行
writer_baseline = Writer()

result_baseline = writer_baseline(
    title=demo_sample['input']['title'],
    news_content=demo_sample['input']['news_content'],
    user_context=demo_sample['input']['user_context']
)

# 最適化前のプロンプトを保存
# inspect_history()の代わりに、lm.historyを直接取得
try:
    if hasattr(lm, 'history') and lm.history:
        # 最新のメッセージを取得
        last_prompt_before = str(lm.history[-1])
    else:
        last_prompt_before = None
except Exception as e:
    last_prompt_before = None
    print(f"警告: プロンプト履歴の取得に失敗しました: {e}")

print("✅ 最適化前のWriter実行完了")
print(f"影響度スコア: {result_baseline.impact_score}")
print(f"要約: {result_baseline.article_summary[:100]}...")

from dspy.teleprompt import MIPROv2

# MIPROで最適化（指示文 + Few-shot例）
print("\n🔄 MIPRO最適化を実行中...")
print("   - Prompt Programmingアプローチ: データから最適な指示と例を探索")
print("   - auto='light'モードで高速に最適解を探索")

# データセットを最大活用（全20件）
full_trainset = []
for sample in training_data:
    ex = dspy.Example(
        title=sample['input']['title'],
        news_content=sample['input']['news_content'],
        user_context=sample['input']['user_context'],
        impact_score=str(sample['expected_output']['impact_score']), # 文字列として扱う
        article_summary=sample['expected_output']['article_summary'],
        short_term_action=sample['expected_output']['short_term_action']
    ).with_inputs('title', 'news_content', 'user_context')
    full_trainset.append(ex)

# オプティマイザーの設定
# metricに先ほど定義した統合LLM-Judgeメトリクスを指定
mipro_optimizer = dspy.MIPROv2(
    metric=combined_email_quality_metric,
    auto=None, 
    num_candidates=3,     # 候補数を減らして高速化 (実験用)
    init_temperature=1.0,
    max_bootstrapped_demos=3,
    max_labeled_demos=4,
    num_threads=1,
    verbose=False
)

# コンパイル実行（最適化）
# trainsetとvalsetを分けて使用
# 実験のためデータ数を絞って高速化: train=5件, val=5件
mipro_optimized_writer = mipro_optimizer.compile(
    Writer(),
    trainset=full_trainset[5:10], # 5件のみ使用 (実験用)
    valset=full_trainset[:5], 
    num_trials=3,          # 試行回数を3回に減らして高速化 (実験用)
    minibatch=False,
)

print("✅ MIPRO最適化完了: 最適なPrompt Programが生成されました")

library(gapminder)

head(gapminder)

names(gapminder)