3.6 KiB
S2 恢复终态、probe与首run停止证据(2026-11-15)
恢复队列134件已完成:131 PASS、3件真实1800秒wall_limit;16件显式基础设施恢复全部PASS。保留原3件真实超时后,三来源合并得到499个唯一终态:493成功、6超时。成功清单为382学习件/11,300,812节点,111验证件/3,255,106节点;125测试保持封存。
原+恢复worker CPU=125134.742860秒(34.75965079小时),其中原16件中止耗时已包含一次。恢复guard CPU=348.945579秒,恢复协调器CPU=1015.074510秒;原协调器最终CPU未知,未记零。准备终态磁盘6,331,678,720字节(5.89683533GiB),发布前只读重测含终态元数据6,332,583,936字节。准备监控错误0,无全局停止。完成后的progress不再更新是正常终态,不能作为进程存活心跳。
六个超时件:575(validation,75,046节点)、614(learning,145,860)、625(learning,145,707)、1466(learning,77,138)、1470(learning,124,817)、1473(learning,69,428)。完整case、源批次、停止原因和回执在success-manifest及覆盖附件中,均未科学重试。
三来源SHA绑定及499终态已由既定接续核验;本次只读调用load_manifest再次通过,未重建合并文件。merged-recovery-terminal.json SHA=794ed54385f99d48ac04aa2f0f7f62b852ba12e614e0869be70e8f94f2996e72。原batch-complete仍不存在,原故障记录保留。
E256无标签合成目标probe实际PASS:20件/700,086节点,包含最大成功学习件case666(187,345节点)。按原计划学习/验证节点总量分别外推39.20903487秒/epoch,共同E_max=cosine_T_max=38。probe guard总wall=9.86083261秒;GPU设备峰值12,873,367,552字节,PyTorch peak allocated=7,524,528,640、reserved=12,457,082,880字节。覆盖附件和训练契约绑定probe及guard SHA;该测量不外推到失败件。
首run N128-seed0在epoch=10(零起算,第11轮)抛ValueError: nonfinite encoder output;trace位于network.py encoder返回检查,失败回执显示当轮已尝试371步、成功更新371步、AMP跳步0。此前完整epoch0–9历史/AMP文件、最近progress和best.pt均原样保留。当前回执未记录触发case/参数快照,尚不能确定具体数值根因;不把forward非有限值归为GradScaler正常跳步,不宣称OOM或监督故障。
pilot按PILOT_RUN_FAILED_NO_RETRY结束;E128/N256/E256三个训练run均未启动、未选全局宽。probe+设置+首run总wall=296.02338736秒,计入7200秒限额;首run guard总wall=286.15616854秒,设备峰值8,905,555,968字节,未触发资源停止,监控错误0。链路含CPU等待3410.46034485秒单列,不与GPU阶段限额混淆。
06:14主机只读进程核查:原恢复82149/协调器204498及接续42022/204555均已结束,无probe/training子进程;旧13519/193438仍不存在。chain/progress仍写BOUNDED_PROBE_AND_PILOT是历史阶段标记,以chain/complete和pilot/orchestrator-complete终态为准。不可因聊天idle或历史progress启动第二队列。
已在原Slack串通知Claude/TRON;Claude1794694508.930959已确认接收停止通知,详细文件供主审。当前仅核验、固定和分享证据,未改运行源码、重跑训练或调整阈值。后续诊断/修订按主审裁量另行记录。
文件入口:artifacts/s2-recovery-pilot-stage-review-2026-11-15/stage-audit.json列实际文件SHA;恢复batch-complete/134 guard回执;incident/merged-recovery-terminal;chain/preparation-accepted与complete;training目录中的success-manifest、training-contract、timing-probe结果/覆盖附件、N128失败/历史/AMP/权重、各guard与总账。