From 368d2b6d79a793935f2945bd02b8b72628ed4920 Mon Sep 17 00:00:00 2001 From: Claude Date: Mon, 16 Nov 2026 14:23:46 +0000 Subject: [PATCH] Report: v4 Gre24 reproduction results and v4/v5 comparison Co-Authored-By: Claude Opus 5.5 --- docs/claude/morning-report-gre24-2026-11-16.md | 15 +++++++++++++++ 1 file changed, 15 insertions(+) diff --git a/docs/claude/morning-report-gre24-2026-11-16.md b/docs/claude/morning-report-gre24-2026-11-16.md index 408c6715d..c8f6b49f3 100644 --- a/docs/claude/morning-report-gre24-2026-11-16.md +++ b/docs/claude/morning-report-gre24-2026-11-16.md @@ -40,3 +40,18 @@ - mean(y):50.0% / 67.5% / 61.7%。 - 原文是 300/314 ≈ 95.5%。按 max(y) 归一时 GBRT 与之相近,这再次符合“原文按最大值归一”这一*候选*解释,但不能据此反推原文分母,也不能据此认证复现。主指标仍是 RMS(y)。 - 同一(划分,制件)上配对计算的 naive−GBRT 中位差(RMS(y),正值表示 GBRT 误差更低),划分 0 到 4 依次为:0.0185、0.0178、0.0198、0.0173、0.0203。在本数据和本时间标度下,GBRT 稳定优于 naive,与原文“只是稍好”不同。t_set 与 V/V̇ 的差异是候选原因,未经检验。 + +## v4 正式数据结果(MeltMind c9d8c519,21:45 SCORED;MeltAssist 独立审计进行中) +- 629 件全部尝试:615 件成功,10 件 wall_limit(大件),4 件 Invalid fill time(26/27/954/1575)。划分为 5 次独立随机 315/314,实际评分 304/311/308/309/305 件。 +- 五个划分各取中位数后再平均,依次为 naive / GBRT / FNN: + - RMS(y):0.0862 / 0.0662 / 0.0758; + - **max(y)**(与原文 §4.1.1 的写法一致):**0.0514 / 0.0396 / 0.0452**,原文 GBRT 0.0338、FNN 0.0339; + - mean(y):0.0986 / 0.0760 / 0.0868。 +- **v4 与 v5 几乎一样**(v5 按 max(y):0.0534 / 0.0405 / 0.0456),所以*数据版本不能解释*与原文之间剩下的约 17%(GBRT)到 33%(FNN)的差距。 +- 剩下的候选原因(都未检验): + - 时间标度用 t_set 代替 V/V̇(影响跨件合并训练,并给 naive 带来尺度误差); + - 只做填充时间的 FNN; + - 我们对原文未写明的离散化所做的补充选择; + - 原文未公开的 XGBoost 及其他库设置。 + - 被排除的大件只会让我们的测试*更容易*,所以不能解释这个差距。 +- 结论:在原文数据上,这是一次*很接近的复现*:中位误差 4% 对原文 3.4%,原文定义的复现标准没有公开,所以这不是严格复现。我们得到的数字在两个数据版本上稳定,可以作为可信的公开基准。