Files
MeltMind/docs/track-a-recovery-entry-2026-11-18.md
T

6.1 KiB
Raw Blame History

Track A 唯一标记基础设施恢复:待窄差异审阅

已直接读取Claude1795000465.748129与1795000626.905989:原科学失败不重试规则保持;此次外层监控基础设施abort获准唯一标记recovery。当前只准备独立入口与审阅绑定,不训练、不建立自动waiter、不启动postfit。21项CPU合成检查PASS,目标是交MeltAssist窄delta审阅复用、监控、失败隔离和账本。

独立root:/home/frank14f/MeltMind-runs/track-a-recovery-2026-11-18。原root及STOP、三PASS、两中断、监控错误、原CPU记录缺口全部不改;原证据冻结a0a32fbf/共享32bd61e1仍有效。精确新五字段以root内expected-review-binding.json为准,实际新PASS前不得运行。

复用与科学身份

fold0/1/2仅哈希复用原last-epoch200检查点与learning-only19列标准化;逐项验证原guard/worker结果、200epochs/steps、角色与不可变STOP冻结。旧模型不加载、不重训。fold3/4从头运行同seed0、原615 v4输入/五split成员/原时钟/200epoch完整日程/原优化器/last-only,无中途权重续训。新worker相对原worker只更换配置/首门模块并加fold3/4执行边界,AST检查确认其余训练科学逻辑全等。

新模型保留新合同SHA,三复用模型保留原训练合同SHA,canonical清单逐模型显式标origin与training_contract_sha256。只有两恢复折也PASS时才冻结完整五模型;任一失败只冻结available-models-incomplete,完整五折postfit门不得绕过。不把部分完成结果称为五折成功,也不自行给缺折科学评分。

新监控与失败隔离

仅新入口采用nvidia-smi timeout10秒,每一采样操作独立计连续失败数,成功有效采样清零该操作连续计数;第3次连续失败才触发该job的监控失败。每次错误都有时间、操作、异常、连续计数和原文记录。不同操作的成功不能掩盖持续GPU查询失败;缺采样标valid=false/null,不当成零占用或越限。

GPU状态查询和快速本地RSS/disk/已记录VRAM峰检查分线程。已实际观测的资源越限立即失败,不等3次;nvidia-smi等待不阻塞本地检查。内层进程supervisor亦在独立新副本使用同一连续失败规则,保留CPU/wait4/RSS峰、失败账与实际poll gap。允许的非连续/不足三次错误仍保留在monitor_errors和monitor_policy,不伪称零错误;回执PASS按显式policy.failed判断。证据无法写入、实际源码身份损坏或信号等不属于“缺一个样本就越限”的推断。

单job的数值/资源/三连监控失败或自身首轮/逐轮成本投影超帽只停止该job,另一折保持自身guard运行。累计资源/共享源码身份/明确operator停止仍是队列级保护。没有进一步恢复、换卡重试或重复派工。

卡占用与计费

只使用原分配GPU2/3:fold3→GPU3,fold4→GPU2。队列先实测idle,guard再取连续3次idle样本;有效busy样本保持pending,不杀占用者。GPU2于19:29:29左右快照为9MiB/0%,GPU3为约1.80GiB/14%,seed1原0/1/2任务仍在。此快照不是未来启动凭据;每次实际派发仍检查,seed1原队列/pins保持。

所有pending等待、setup与失败都计入对应恢复折;新单折保留原30960 GPU秒帽,其中60秒setup裕度和派发前等待不重计。guard用原帽扣掉派发前等待的实际余额;队列取独立墙钟与guard成本较大值。等待耗尽自身窗口只记录该折未派发失败,不挪动别的队列,也不无界免费等待。

旧训练47943.94719455298 GPU秒一次:旧+全部新训练/等待≤154800,postfit保留7200,总≤162000;新训练余额106856.05280544702。初始两恢复折保留61920,加post7200=69120,累计投影117063.94719455298。新入口不自动放宽单job30960或资源帽,15GiB VRAM/16GiB RSS/8GiB单fold产物保持,原协调器40GiB RSS/48GiB产物保持。旧guardCPU含worker不能相加,旧STOP无coordinatorCPU字段的缺口保持。新协调器在成功/失败终态记录自己的CPU;原始统计不是完整端到端CPU总数的伪造。

原 postfit 983bba99 的精确身份边界

原postfit实际PASS983bba99的科学方法和配对统计仍可沿用,但原入口固定训练root=track-a-h2-2026-11-18、旧合同/五新worker路径/全零监控错误规则。旧root已STOP且不改,因此原入口不能直接通过新恢复模型与容许的已记录瞬时错误。新训练入口不会混用旧PASS,不复制伪造五折成功receipt,也不会把新checkpoint重命名为原合同模型。

需要独立、仅身份适配的postfit新绑定,明确三原模型+两恢复模型/两合同身份、旧账一次、容许的采样错误与完整五折门;原评分/1537访问/586唯一件配对、原bootstrap保持。当前只记录兼容性限制,没有实现或启动postfit适配。恢复全五成功后的状态为TRAIN_COMPLETE_POSTFIT_REBIND_REQUIRED。若再次失败,只报告已完成折与失败清单,不擅自改原postfit为部分cohort评分。

合成检查与保留的失败

21项包括:10秒查询参数;两次失败后恢复/三连续失败/跨操作不可掩盖/缺样本非零;最终重采样有界;worker科学AST全等;旧账一次/失败成本保留/actual floor/非有限拒绝;缺折不得canonical五模型;容许错误不能被误判全零;从实际queue函数抽取执行,验证collect失败不停止另一折、忙卡不launch、三次派发查询失败只settle本折;自身成本门隔离;复用折禁止执行;快速本地检查不调用GPU查询;真实合成子进程内存越限立即停止、两次tree采样错误恢复、三次失败终止子进程。

首轮19项中1项失败原样保留。诊断显示被测试子进程return0、两个瞬时监控错误已恢复,但wait4峰RSS404328448B超过测试给的100000000B,reason=rss_limit_after_exit;不是监控容错逻辑未恢复。只将该合成测试及持续监控测试内存帽改为1GiB以隔离目标行为,另一个真实越限测试仍使用1B帽且必须失败。补齐两派发隔离测试后21项PASS。日志、原失败与诊断回执全部保留;没有科学数组/目标读取或GPU计算。