過去データでの検証
スコアの過去検証
TOB注目度の相対順位が30・90・180営業日内のTOB公表をどの程度捉えたかを検証します。
買付者と公表後サンプルを除外し、追跡期間が満了していない負例は右打ち切りします。
検証サマリー
生成日時2026-08-04
評価期間2026-07-24 - 2026-08-04
検証データ日次スコア履歴
スコアサンプル29672
TOB対象イベント1516
公表前履歴は確認できていますが、追跡期間が満了した負例はまだありません。未観測の結果を外れ扱いせず、PR-AUC、Precision、Liftは空欄にしています。
期間別の順位評価
| 期間 | サンプル | 正例 | 捕捉イベント | Top20捕捉 | ROC-AUC | PR-AUC | 右打ち切り | Precision@20 | Lift@20 |
| 30営業日 | 9 | 9 | 2 / 2 | 0 | - | - | 27280 | - | - |
| 90営業日 | 9 | 9 | 2 / 2 | 0 | - | - | 27280 | - | - |
| 180営業日 | 9 | 9 | 2 / 2 | 0 | - | - | 27280 | - | - |
この検証で確認していること
正例はTOBの対象会社だけに限定し、買付者側の銘柄は含めません。買付者を正例に入れると、買収を実行する企業の特徴と、買われる企業の特徴が混ざるためです。
TOB公表後のサンプルは除外します。公表後の株価や出来高は、予測ではなくイベント発生後の反応を含むため、スコアの先行性を検証する材料にはしません。
保存済みの日次スコア履歴を使える場合は、全銘柄の時点別スナップショットで検証します。保存開始前の期間はまだ評価対象外です。
評価終了日まで30・90・180営業日の追跡期間が満了していない負例は、右打ち切りとして除外します。観測できていない結果を外れ扱いしません。
指標の読み方
- ROC-AUCは、正例と負例の順位づけがどの程度分離できたかを見る指標です。正例が少ない期間では値が不安定になりやすいため、単独では評価しません。
- PR-AUCは、TOBのように正例が少ない事象で上位候補の濃さを見るための指標です。候補数が少ないときはPrecision@Kやヒットケースの中身と合わせて確認します。
- Precision@20とLift@20は、実際に上位から確認する運用に近い指標です。TOBレーダーでは、全銘柄を平均的に当てるより、確認すべき上位候補の質を重視します。
- 現行値は相対指数であり確率ではないため、Brierや確率校正の結果は公開指標から外しています。
品質管理で見ている点
- 対象会社と買付者を分けるevent_roleを持たせ、買付者側イベントでスコアが良く見えないようにする。
- 公表後サンプルを除外し、ランキングがニュースの後追いになっていないかを確認する。
- ヒットケースとミスケースをCSVに分け、単なる指標の上下ではなく、外した理由を個別に読めるようにする。
- 追跡期間未満の負例を右打ち切りし、将来が未観測のサンプルで性能を過小評価しない。
event_roleチェック
- target: 1516
- acquirer: 378
- unknown: 88
出力ファイル
artifacts/backtest/backtest_summary.json artifacts/backtest/backtest_report.md artifacts/backtest/score_band_realization.csv artifacts/backtest/hit_cases.csv / missed_cases.csv / lead_time.csv
現時点の評価と改善方針
このページの数値は、TOBレーダーのスコアを過大に見せるためではなく、どこまで検証できていて、どこが未検証かを公開するために掲載しています。
正例が少ない期間や限定データでは、AUCやPrecisionが空欄になることがあります。その場合も、空欄を隠さず、サンプル不足として扱います。
- 保存開始前のランキング入力データを再現できるようにし、検証期間をさらに伸ばす。
- 公表イベントのロール分類を増やし、対象会社、買付者、親会社、ファンド、関連会社をより細かく分ける。
- ミスケースを理由別に分類し、価格・支配構造・大量保有・ガバナンスのどのシグナルが不足していたかを見直す。
- 十分な期間と正例数でwalk-forward検証ができるまで、確率風の数値を公開しない。
制約
- 保存済みの日次スコア履歴を使っていますが、保存開始前の期間は評価できません。
- 過去時点の株主構成・財務データを現在値から復元していません。
- 評価対象日はJPX営業日カレンダーで休場日を除外しています。
- 追跡期間が満了した負例をまだ観測できないため、PR-AUC、Precision、Liftは未算出です。