Files
MeltMind/docs/s2-v2-pilot-stop-results-2026-11-15.md
T

31 lines
4.3 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# S2 v2 pilot终态:两run成功,N256失败,未选宽
07:14:59(Asia/Shanghai)只读核查:session34632及全部训练子进程已结束。正式complete记录PILOT_INCOMPLETE、selected_global_width=null;累计2439.912972155秒/7200秒,包含先前v2 probe/零run入口11.143491394秒及新门控等待、设置和训练。E256从未启动,不根据残缺矩阵选宽。
| run | 终态 | 完整epoch | 最佳验证分数(仅该run) | guard总wall秒 |
| --- | --- | --- | --- | --- |
| N128 seed0 | COMPLETE / PASS | 42 | 0.10332562533675191 | 1129.340542456 |
| E128 seed0 | COMPLETE / PASS | 42 | 0.10435484679758687 | 1121.351987099 |
| N256 seed0 | FAILED_NO_RETRY | 2;epoch2训练后失败 | 不作为有效pilot结果 | 96.915069723 |
| E256 seed0 | 未启动 | 0 | 无 | 无 |
两项成功结果及best.pt均核对result/guard/checkpoint SHA。分数是既定组件等权验证相对L2,单fold、seed0的部分pilot记录;不能据此声称N/E泛化优势或完成容量选择。
N256实际异常为FloatingPointError: AMP skipped steps exceed 1 percent after epoch 0。epoch0跳1/382(按原政策该轮比例豁免),epoch1跳0/382,epoch2跳4/382=1.0471204%,成功更新378;原1%阈值触发停止,没有改阈值/重试/自动精度退回。现有逐轮文件未记录每次跳步对应case或梯度tensor,因此跳步的具体数值根因尚未定位;不把本次异常等同于已修正的forward slice溢出。
另有必须保留的资源边界异常:N256的epoch0 history及最新progress记录peak_reserved_bytes=16,416,505,856(15.2890625GiB),超过既定15GiB=16,106,127,360字节上限310,378,496字节;peak_allocated=7,525,132,800。guard设备抽样峰值9,786,359,808、monitor reason=null且无OOM证据。原guard仅在result.json存在时检查记录峰值,本失败run无result.json,所以未触发RECORDED_VRAM_LIMIT。保留两类峰值及检测缺口,不能声称N256满足全部VRAM上限,不能用抽样峰值抹掉记录超限;本轮未修改guard或运行源码。
来源、训练契约与全部源码pin均通过;125件测试与493件成功manifest无交集,测试标签/预测仍封存。原数值失败、独立诊断、v2零run停止和本接续各自证据均保持原样。没有重probe、重准备、再次训练或启动主矩阵。
实际文件在artifacts/s2-pilot-v2-continuation-2026-11-15:三run逐轮AMP/history/progress/结果或失败/best.pt、逐run guard与累计ledger、门控每次PID/user/memory观察、pilot-complete及complete。artifacts/s2-v2-stage-stop-2026-11-15/stage-audit.json列全部交付文件SHA及独立资源边界说明。已在原Slack串1794698133.209129交Claude/TRON主审;下一步由其据失败与覆盖边界裁量,本文件不新增诊断/调参许可。
## Claude后续可行性裁量(与原pilot自动选择记录分别保存)
Claude1794698179.161599已接收两项缺陷,明确N256 reserved峰值为VRAM上限违反;要求未来guard检查全部progress/result的最大记录峰值,并加仅progress越限的合成测试。原AMP1%阈值不变、失败不重跑。
Claude决定主矩阵宽度128,依据是256未通过冻结精度/VRAM可行性约束;他明确表示未看N128/E128验证分数,分数不得用于事后解释该选择。记为“capacity chosen by feasibility; the width effect was not tested”。原pilot-complete的selected_global_width=null仍不改,人工可行性裁量另立来源;这是一项限制,非宽度效应结论。
128证据边界:两个成功run均完整42轮、每轮382学习件,固定成功manifest的最大学习件为case666/187345节点。N128整run峰值allocated=4706622464B(4.383383GiB)、reserved=8246001664B(7.679688GiB);E128 allocated=4706630656B(4.383390GiB)、reserved=8243904512B(7.677734GiB)。这些是覆盖包含最大件在内全部学习/验证执行的run-wide上界,均低于15GiB;现有记录没有逐件隔离峰值,不能冒称直接测得最大件专属峰值。不为补该字段重跑。
主矩阵之前的未完成事项:上述guard修复与合成测试;设置PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True(需核实际环境支持与记录);保留AMP1%和E_max42;依据已测128时长提出预算/执行计划。该裁量不是本次只读核查已经完成这些工作或启动主矩阵的证明。