Backtest

スコアの過去検証

P30/P90/P180が過去のTOB公表をどの程度捉えたかを、対象会社だけを正例として検証します。 買付者は正例に含めず、TOB公表後のサンプルは除外します。

検証サマリー

生成日時2026-06-17

評価期間2026-02-13 - 2026-06-17

検証データ日次スコア履歴

スコアサンプル287750

TOB対象イベント1506

保存済みの日次スコア履歴を使った検証です。低カバレッジの日は除外しています。

P30 / P90 / P180

期間 サンプル 正例 捕捉イベント Top20捕捉 ROC-AUC PR-AUC Brier Precision@20 Lift@20
P30 268974 648 31 / 33 0 0.555 0.003 0.008 0.000 0.000
P90 268974 1306 31 / 33 0 0.531 0.005 0.029 0.000 0.000
P180 268974 1306 31 / 33 0 0.531 0.005 0.073 0.000 0.000

この検証で確認していること

正例はTOBの対象会社だけに限定し、買付者側の銘柄は含めません。買付者を正例に入れると、買収を実行する企業の特徴と、買われる企業の特徴が混ざるためです。

TOB公表後のサンプルは除外します。公表後の株価や出来高は、予測ではなくイベント発生後の反応を含むため、スコアの先行性を検証する材料にはしません。

保存済みの日次スコア履歴を使える場合は、全銘柄の時点別スナップショットで検証します。保存開始前の期間はまだ評価対象外です。

指標の読み方

  • ROC-AUCは、正例と負例の順位づけがどの程度分離できたかを見る指標です。正例が少ない期間では値が不安定になりやすいため、単独では評価しません。
  • PR-AUCは、TOBのように正例が少ない事象で上位候補の濃さを見るための指標です。候補数が少ないときはPrecision@Kやヒットケースの中身と合わせて確認します。
  • Brierは、確率らしさのずれを確認するための指標です。順位が当たっていても、P30/P90/P180の数値が過大または過小なら改善対象になります。
  • Precision@20とLift@20は、実際に上位から確認する運用に近い指標です。TOBレーダーでは、全銘柄を平均的に当てるより、確認すべき上位候補の質を重視します。

品質管理で見ている点

  • 対象会社と買付者を分けるevent_roleを持たせ、買付者側イベントでスコアが良く見えないようにする。
  • 公表後サンプルを除外し、ランキングがニュースの後追いになっていないかを確認する。
  • ヒットケースとミスケースをCSVに分け、単なる指標の上下ではなく、外した理由を個別に読めるようにする。
  • キャリブレーションCSVで、確率帯ごとの過大評価・過小評価を点検する。

event_roleチェック

  • target: 1506
  • acquirer: 500
  • unknown: 89

出力ファイル

  • artifacts/backtest/backtest_summary.json
  • artifacts/backtest/backtest_report.md
  • artifacts/backtest/calibration_p30.csv / p90 / p180
  • artifacts/backtest/hit_cases.csv / missed_cases.csv / lead_time.csv

現時点の評価と改善方針

このページの数値は、TOBレーダーのスコアを過大に見せるためではなく、どこまで検証できていて、どこが未検証かを公開するために掲載しています。 正例が少ない期間や限定データでは、AUCやPrecisionが空欄になることがあります。その場合も、空欄を隠さず、サンプル不足として扱います。

  • 保存開始前のランキング入力データを再現できるようにし、検証期間をさらに伸ばす。
  • 公表イベントのロール分類を増やし、対象会社、買付者、親会社、ファンド、関連会社をより細かく分ける。
  • ミスケースを理由別に分類し、価格・支配構造・大量保有・ガバナンスのどのシグナルが不足していたかを見直す。
  • スコアの説明文と実際のバックテスト結果が食い違う場合は、表示上の注意書きや重みを調整する。

制約

  • 保存済みの日次スコア履歴を使っていますが、保存開始前の期間は評価できません。
  • 過去時点の株主構成・財務データを現在値から復元していません。
  • 評価対象日はJPX営業日カレンダーで休場日を除外しています。

運営と情報源

運営: noru / TOBレーダー運営者・個人投資家

公開資料をもとに、TOB価格、少数株主論点、開示の流れを整理しています。

編集方針や修正依頼については、運営情報お問い合わせ をご確認ください。