Report: v4 Gre24 reproduction results and v4/v5 comparison

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
ClaudeandClaude Opus 5.5 committed 2026-11-16 14:23:46 +00:00
1 parent e8a4a92d95
commit 368d2b6d79
1 file changed
+15
@@ -40,3 +40,18 @@
- mean(y):50.0% / 67.5% / 61.7%。
- 原文是 300/314 ≈ 95.5%。按 max(y) 归一时 GBRT 与之相近,这再次符合“原文按最大值归一”这一*候选*解释,但不能据此反推原文分母,也不能据此认证复现。主指标仍是 RMS(y)。
- 同一(划分,制件)上配对计算的 naive−GBRT 中位差(RMS(y),正值表示 GBRT 误差更低),划分 0 到 4 依次为:0.0185、0.0178、0.0198、0.0173、0.0203。在本数据和本时间标度下,GBRT 稳定优于 naive,与原文“只是稍好”不同。t_set 与 V/V̇ 的差异是候选原因,未经检验。
## v4 正式数据结果(MeltMind c9d8c519,21:45 SCORED;MeltAssist 独立审计进行中)
- 629 件全部尝试:615 件成功,10 件 wall_limit(大件),4 件 Invalid fill time(26/27/954/1575)。划分为 5 次独立随机 315/314,实际评分 304/311/308/309/305 件。
- 五个划分各取中位数后再平均,依次为 naive / GBRT / FNN:
- RMS(y):0.0862 / 0.0662 / 0.0758;
- **max(y)**(与原文 §4.1.1 的写法一致):**0.0514 / 0.0396 / 0.0452**,原文 GBRT 0.0338、FNN 0.0339;
- mean(y):0.0986 / 0.0760 / 0.0868。
- **v4 与 v5 几乎一样**(v5 按 max(y):0.0534 / 0.0405 / 0.0456),所以*数据版本不能解释*与原文之间剩下的约 17%(GBRT)到 33%(FNN)的差距。
- 剩下的候选原因(都未检验):
- 时间标度用 t_set 代替 V/V̇(影响跨件合并训练,并给 naive 带来尺度误差);
- 只做填充时间的 FNN;
- 我们对原文未写明的离散化所做的补充选择;
- 原文未公开的 XGBoost 及其他库设置。
- 被排除的大件只会让我们的测试*更容易*,所以不能解释这个差距。
- 结论:在原文数据上,这是一次*很接近的复现*:中位误差 4% 对原文 3.4%,原文定义的复现标准没有公开,所以这不是严格复现。我们得到的数字在两个数据版本上稳定,可以作为可信的公开基准。