Files
MeltMind/docs/s2-v2-pilot-stop-results-2026-11-15.md
T

4.3 KiB
Raw Blame History

S2 v2 pilot终态:两run成功,N256失败,未选宽

07:14:59(Asia/Shanghai)只读核查:session34632及全部训练子进程已结束。正式complete记录PILOT_INCOMPLETE、selected_global_width=null;累计2439.912972155秒/7200秒,包含先前v2 probe/零run入口11.143491394秒及新门控等待、设置和训练。E256从未启动,不根据残缺矩阵选宽。

run 终态 完整epoch 最佳验证分数(仅该run) guard总wall秒
N128 seed0 COMPLETE / PASS 42 0.10332562533675191 1129.340542456
E128 seed0 COMPLETE / PASS 42 0.10435484679758687 1121.351987099
N256 seed0 FAILED_NO_RETRY 2;epoch2训练后失败 不作为有效pilot结果 96.915069723
E256 seed0 未启动 0 无 无

两项成功结果及best.pt均核对result/guard/checkpoint SHA。分数是既定组件等权验证相对L2,单fold、seed0的部分pilot记录;不能据此声称N/E泛化优势或完成容量选择。

N256实际异常为FloatingPointError: AMP skipped steps exceed 1 percent after epoch 0。epoch0跳1/382(按原政策该轮比例豁免),epoch1跳0/382,epoch2跳4/382=1.0471204%,成功更新378;原1%阈值触发停止,没有改阈值/重试/自动精度退回。现有逐轮文件未记录每次跳步对应case或梯度tensor,因此跳步的具体数值根因尚未定位;不把本次异常等同于已修正的forward slice溢出。

另有必须保留的资源边界异常:N256的epoch0 history及最新progress记录peak_reserved_bytes=16,416,505,856(15.2890625GiB),超过既定15GiB=16,106,127,360字节上限310,378,496字节;peak_allocated=7,525,132,800。guard设备抽样峰值9,786,359,808、monitor reason=null且无OOM证据。原guard仅在result.json存在时检查记录峰值,本失败run无result.json,所以未触发RECORDED_VRAM_LIMIT。保留两类峰值及检测缺口,不能声称N256满足全部VRAM上限,不能用抽样峰值抹掉记录超限;本轮未修改guard或运行源码。

来源、训练契约与全部源码pin均通过;125件测试与493件成功manifest无交集,测试标签/预测仍封存。原数值失败、独立诊断、v2零run停止和本接续各自证据均保持原样。没有重probe、重准备、再次训练或启动主矩阵。

实际文件在artifacts/s2-pilot-v2-continuation-2026-11-15:三run逐轮AMP/history/progress/结果或失败/best.pt、逐run guard与累计ledger、门控每次PID/user/memory观察、pilot-complete及complete。artifacts/s2-v2-stage-stop-2026-11-15/stage-audit.json列全部交付文件SHA及独立资源边界说明。已在原Slack串1794698133.209129交Claude/TRON主审;下一步由其据失败与覆盖边界裁量,本文件不新增诊断/调参许可。

Claude后续可行性裁量(与原pilot自动选择记录分别保存)

Claude1794698179.161599已接收两项缺陷,明确N256 reserved峰值为VRAM上限违反;要求未来guard检查全部progress/result的最大记录峰值,并加仅progress越限的合成测试。原AMP1%阈值不变、失败不重跑。

Claude决定主矩阵宽度128,依据是256未通过冻结精度/VRAM可行性约束;他明确表示未看N128/E128验证分数,分数不得用于事后解释该选择。记为“capacity chosen by feasibility; the width effect was not tested”。原pilot-complete的selected_global_width=null仍不改,人工可行性裁量另立来源;这是一项限制,非宽度效应结论。

128证据边界:两个成功run均完整42轮、每轮382学习件,固定成功manifest的最大学习件为case666/187345节点。N128整run峰值allocated=4706622464B(4.383383GiB)、reserved=8246001664B(7.679688GiB);E128 allocated=4706630656B(4.383390GiB)、reserved=8243904512B(7.677734GiB)。这些是覆盖包含最大件在内全部学习/验证执行的run-wide上界,均低于15GiB;现有记录没有逐件隔离峰值,不能冒称直接测得最大件专属峰值。不为补该字段重跑。

主矩阵之前的未完成事项:上述guard修复与合成测试;设置PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True(需核实际环境支持与记录);保留AMP1%和E_max42;依据已测128时长提出预算/执行计划。该裁量不是本次只读核查已经完成这些工作或启动主矩阵的证明。