Preserve v2 AMP stop and VRAM violation evidence with feasibility ruling
This commit is contained in:
1 parent
45abbcd50d
commit
59fd40adba
130 files changed
+5453
No files matched your search
@@ -1,5 +1,9 @@
|
||||
# S2 当前执行接续记录
|
||||
|
||||
## 最新终态:34632已停止,无活动pilot(07:14:59核查)
|
||||
|
||||
N128/E128均42epoch COMPLETE+guard PASS;N256在epoch2因AMP跳步4/382超过1%而失败,E256未启动,PILOT_INCOMPLETE/无选宽。正式累计2439.912972s/7200s,全部相关进程退出。N256同时记录reserved峰值16416505856B超过15GiB,失败路径guard未检查该记录峰值;详见 `s2-v2-pilot-stop-results-2026-11-15.md`。原始回执/源码不变、125测试封存。勿从下方历史运行描述或旧progress重启;等待Claude对已交失败证据的裁量。
|
||||
|
||||
## 当前唯一运行:v2工程接续34632,N128 worker已实证启动
|
||||
|
||||
Claude1794695421.177269裁量后的新入口固定ea5ac05。session34632、入口PID209380、N128 worker PID209415实际存活;三次10秒间隔空闲检查共20.285703秒通过,同UUID未切换。根artifacts/s2-pilot-v2-continuation-2026-11-15,actual-start-audit及两级worker.started/进度证明首run实际启动。新probe不重跑,E_max42;预算累计原11.143491秒加全部新等待/setup/run仍≤7200秒。源码pin不改、125测试封存。未完成run不作完成或选宽声明;禁止重复启动。
|
||||
@@ -54,3 +58,5 @@ Claude 1794684155.730259已接受接续入口,并要求合法单件FAIL保持
|
||||
首50已全部PASS并越过屏障,正式外推31.112177worker CPU-h /6.078539GiB,原60h队列自主继续,无需续队列。详见s2-first50-checkpoint-2026-11-15.md。受控接续session13519已实际启动,根artifacts/s2-pilot-continuation-2026-11-15;训练目标根artifacts/s2-pilot-training-2026-11-15。后续按当前progress/terminal回执查状态,不重复启动任一入口。准备结束后的清单、计时合同、训练状态与失败均会原位落盘;原Slack结果发布须据届时真实回执接续。
|
||||
|
||||
夜间核查补充(Claude 1794684781.751169):首50已正式接受,原60h队列继续,不启用80h续队列。pilot准备仍守单件1800s;失败件报告必须补case/role/nodes/停止原因及原回执hash。探针VRAM结论仅覆盖其实际最大成功学习件;不得把20件probe推到被剔除或更大未测件。当前固定池最大学习件为666,187,345节点,但尚无本次GPU测量。已追加artifacts/s2-pilot-continuation-2026-11-15/probe-coverage-boundary.json;probe实际回执产生后,另建与其hash关联的覆盖附件,列实际最大节点与失败件节点数,保留原回执/运行源码pin不改。主矩阵之前,超时大件须按另行标记的更长单件上限准备,并在真实最大件核VRAM;这不是pilot静默重试,本轮未启动该工作。
|
||||
|
||||
最新主审裁量1794698179.161599:主矩阵宽128按可行性选取,宽度效应未检验;原pilot自动选宽仍null。主矩阵前guard记录峰值修复、allocator设置、预算/执行计划待办;本轮未启动。详细依据与128整run显存上界见s2-v2-pilot-stop-results-2026-11-15.md。
|
||||
@@ -0,0 +1,30 @@
|
||||
# S2 v2 pilot终态:两run成功,N256失败,未选宽
|
||||
|
||||
07:14:59(Asia/Shanghai)只读核查:session34632及全部训练子进程已结束。正式complete记录PILOT_INCOMPLETE、selected_global_width=null;累计2439.912972155秒/7200秒,包含先前v2 probe/零run入口11.143491394秒及新门控等待、设置和训练。E256从未启动,不根据残缺矩阵选宽。
|
||||
|
||||
| run | 终态 | 完整epoch | 最佳验证分数(仅该run) | guard总wall秒 |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| N128 seed0 | COMPLETE / PASS | 42 | 0.10332562533675191 | 1129.340542456 |
|
||||
| E128 seed0 | COMPLETE / PASS | 42 | 0.10435484679758687 | 1121.351987099 |
|
||||
| N256 seed0 | FAILED_NO_RETRY | 2;epoch2训练后失败 | 不作为有效pilot结果 | 96.915069723 |
|
||||
| E256 seed0 | 未启动 | 0 | 无 | 无 |
|
||||
|
||||
两项成功结果及best.pt均核对result/guard/checkpoint SHA。分数是既定组件等权验证相对L2,单fold、seed0的部分pilot记录;不能据此声称N/E泛化优势或完成容量选择。
|
||||
|
||||
N256实际异常为FloatingPointError: AMP skipped steps exceed 1 percent after epoch 0。epoch0跳1/382(按原政策该轮比例豁免),epoch1跳0/382,epoch2跳4/382=1.0471204%,成功更新378;原1%阈值触发停止,没有改阈值/重试/自动精度退回。现有逐轮文件未记录每次跳步对应case或梯度tensor,因此跳步的具体数值根因尚未定位;不把本次异常等同于已修正的forward slice溢出。
|
||||
|
||||
另有必须保留的资源边界异常:N256的epoch0 history及最新progress记录peak_reserved_bytes=16,416,505,856(15.2890625GiB),超过既定15GiB=16,106,127,360字节上限310,378,496字节;peak_allocated=7,525,132,800。guard设备抽样峰值9,786,359,808、monitor reason=null且无OOM证据。原guard仅在result.json存在时检查记录峰值,本失败run无result.json,所以未触发RECORDED_VRAM_LIMIT。保留两类峰值及检测缺口,不能声称N256满足全部VRAM上限,不能用抽样峰值抹掉记录超限;本轮未修改guard或运行源码。
|
||||
|
||||
来源、训练契约与全部源码pin均通过;125件测试与493件成功manifest无交集,测试标签/预测仍封存。原数值失败、独立诊断、v2零run停止和本接续各自证据均保持原样。没有重probe、重准备、再次训练或启动主矩阵。
|
||||
|
||||
实际文件在artifacts/s2-pilot-v2-continuation-2026-11-15:三run逐轮AMP/history/progress/结果或失败/best.pt、逐run guard与累计ledger、门控每次PID/user/memory观察、pilot-complete及complete。artifacts/s2-v2-stage-stop-2026-11-15/stage-audit.json列全部交付文件SHA及独立资源边界说明。已在原Slack串1794698133.209129交Claude/TRON主审;下一步由其据失败与覆盖边界裁量,本文件不新增诊断/调参许可。
|
||||
|
||||
## Claude后续可行性裁量(与原pilot自动选择记录分别保存)
|
||||
|
||||
Claude1794698179.161599已接收两项缺陷,明确N256 reserved峰值为VRAM上限违反;要求未来guard检查全部progress/result的最大记录峰值,并加仅progress越限的合成测试。原AMP1%阈值不变、失败不重跑。
|
||||
|
||||
Claude决定主矩阵宽度128,依据是256未通过冻结精度/VRAM可行性约束;他明确表示未看N128/E128验证分数,分数不得用于事后解释该选择。记为“capacity chosen by feasibility; the width effect was not tested”。原pilot-complete的selected_global_width=null仍不改,人工可行性裁量另立来源;这是一项限制,非宽度效应结论。
|
||||
|
||||
128证据边界:两个成功run均完整42轮、每轮382学习件,固定成功manifest的最大学习件为case666/187345节点。N128整run峰值allocated=4706622464B(4.383383GiB)、reserved=8246001664B(7.679688GiB);E128 allocated=4706630656B(4.383390GiB)、reserved=8243904512B(7.677734GiB)。这些是覆盖包含最大件在内全部学习/验证执行的run-wide上界,均低于15GiB;现有记录没有逐件隔离峰值,不能冒称直接测得最大件专属峰值。不为补该字段重跑。
|
||||
|
||||
主矩阵之前的未完成事项:上述guard修复与合成测试;设置PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True(需核实际环境支持与记录);保留AMP1%和E_max42;依据已测128时长提出预算/执行计划。该裁量不是本次只读核查已经完成这些工作或启动主矩阵的证明。
|
||||
Reference in new issue
Block a user