7.4 KiB
S2 主矩阵前工程验收与预算/执行计划
当前只完成独立工程验收及计划。没有新的GPU训练、标签解码、准备或主矩阵执行。原pilot、诊断、v2零run停止和接续失败及旧源码全部保留。Claude1794698179.161599决定宽128按可行性采用,宽度效应未检验;原pilot自动选宽仍null,验证分数不用于解释该决定。
已完成条件与独立监督器
Claude1794698584.380959接受128显存条件:N128/E128的整run reserved峰值7.679688/7.677734GiB,allocated均约4.3834GiB;两个run都完整42轮覆盖最大187345节点件。这是包含最大件执行的全程上界,没有逐件隔离峰值记录,也没有补跑。
新的tools/s2_main_memory_guard.py是独立模块,没有矩阵启动CLI,不改旧监督器。对当前run目录所有JSON(progress/result/failure/history/epoch等)递归提取peak_reserved_bytes和peak_allocated_bytes,保留跨覆盖/删除的累计最大值、来源文件SHA和观察时间。运行时每约0.5秒扫描记录并结合设备抽样/主机RSS;任何记录峰值超过15GiB就停止本任务的匹配命令子进程。无result或worker失败退出也强制再扫描;保存原worker状态、原停止原因及所有监督原因。无效峰值/损坏记录失败关闭。其他进程不终止。
监督器要求启动环境PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True,记录该值并由现有进程监督器传给子进程。只有完整结果且两类峰值存在才可能PASS。单run上限沿提案≤1800秒、15GiB VRAM、16GiB主机RSS、5GiB输出;调用者必须显式给累计worker CPU限额,未来矩阵入口仍须单独维护全局预算。此模块没有把90-run执行器或托管评估器实现完成。
7/7 CPU合成检查通过:仅progress reserved超限触发停止;失败无result的最终扫描;峰值跨覆盖/删除保留;history/result两类记录取最大;非法峰值拒绝;缺allocator环境在spawn前拒绝;真实受监督CPU子进程收到allocator/GPU可见性环境(未调用CUDA)。真实N256历史记录只读扫描重现15.2890625GiB上限违反。保留原guard缺口,不回写过去为已按新规则执行。检测发生在记录落盘/设备采样后,不宣称连续无采样延迟。
Allocator配置核查
PyTorch2.5.1+cu124、CUDA12.4、native allocator。设置后读取allocator snapshot,expandable_segments=true;四张Tesla V100-SXM2-16GB的CUDA属性102(VIRTUAL_MEMORY_MANAGEMENT_SUPPORTED)均true。只查元数据,没有分配GPU张量,torch.cuda.is_initialized=false;这证明配置解析/驱动能力,不冒称实际分配工作负载验收。未来获准主矩阵必须在启动前设置并在实际运行回执中记录;数值计算、AMP1%和E_max42不变。
名单与复用裁量
1794698584曾允许在名单完全相同的条件下复用两个pilot cell。核查指出旧cell使用382学习/111验证,回填6件后会变更名单。Claude1794698734.967459最终裁定:补齐6件、统一完整名单、90run全部fresh;两个pilot只作历史证据,不复用权重,不将其checkpoint SHA绑定为主矩阵初始化。历史reuse-candidates明确标为已被取代,预算回到90新run。
准备计划精确列131项:6个真实超时件独立标记再准备,单件60min/1.25GiB、0重试;125个fold0测试件首次S2几何/特征准备,单件30min/1.25GiB,标签只在托管步骤解码。不能直接用旧会解码标签的pilot ready入口处理这125件。主矩阵开始前,根据所有准备终态生成唯一名单SHA;仍失败件在所有五折一致排除,保留原组件身份和逐件失败/节点/质量报告,不重抽或重排原组件/池。现有493成功准备可复用几何/特征,不能把准备复用与pilot权重复用混淆。
原125测试标签在本次验收仍封存。主矩阵各fold角色必须由已固定split映射明确授权;不得以元数据规划为已解封标签。测试预测仅在其余矩阵一起进入托管评估时生成,不提前补pilot测试预测。
成本依据与提案(不是已经放行的预算)
N128/E128实测guard总wall1129.340542/1121.351987秒,均42轮。固定矩阵5外折×3组件比例档(25/50/100%)×3匹配种子×2臂=90个fresh神经fit;宽128,E_max=cosine_T_max=42,AMP首轮比例豁免/后续1%及最多20连续跳步规则保持。15行逐折/池件数、节点数与估时在planned-fold-pool-costs.csv,90个明确run ID在planned-neural-cells.json(不可执行计划)。
以两臂实测wall按(目标学习节点+验证节点)/(成功pilot学习节点+验证节点14,555,918)同比例外推,90run约19.94聚合GPU小时;加25%工程余量和每run20秒空闲确认约25.43小时。此为混合训练/验证/设置速率估计,没有假称掌握128分阶段速率。
较保守情景把90run全部按本次完整池实测计价:28.13 GPU小时;加25%余量及空闲确认35.67小时。两情景均不是统计置信上限,allocator、其他fold大小和池分布可能改变耗时,不计早停节约。提议单run≤30min、全部90run聚合墙钟硬限46GPU小时(90×30min=45h,再给正常门控/设置余量);门控等待也记账,到总限可能未完成,不能自动加时。四卡并发只有在对应卡空闲、每卡隔离监督及聚合计账实现验收后再定,不能把聚合GPU小时直接承诺为多卡日历时长。
准备另账:125件合计3,467,310节点;用历史包含中止/恢复成本的125134.74286CPU秒÷15,193,914原计划节点作保守率,预计约7.93 worker CPU小时。另给6件各60分钟最多6小时,加25%余量约17.42小时,提议新增20 worker CPU小时/累计100GiB输出,仍是规划、未启动。
R2-G24为15个fold×pool最终fit;每格最多12个HPO配置,共最多180 HPO+15最终fit。尚无拟合实测,不能给可信耗时预测。提议单线程每fit≤30 CPU分钟、合计100 worker CPU小时作为硬上限,首个获准固定fit后做成本检查再派发后续;不保证全部195 fit能完成。B0确定性计算/托管预测/统计以及缺失准备的实际实现与开销另列,不能将上述神经估时称为项目全成本。
进入顺序与待办
- 固定本工程包及Claude名单/预算裁量;原失败证据永久保留。
- 独立实现并冻结131件不解码测试标签的准备队列与账本;按上述名单规则产出唯一最终roster SHA。当前只列计划,不宣称已实现或启动队列。
- 依据roster生成每fold/pool的角色白名单与学习统计、共同查询及目标;固定90fresh神经cell和15 R2/HPO清单。准备失败一致剔除、组件配对及覆盖报告沿既定政策,不凭pilot部分分数改变科学设计。
- 将本监督器与allocator设置接入新主矩阵入口,验收全局预算、失败终态、不重试/不替补、无提前测试访问及托管预测输出;不复用旧硬编码fold0/seed0/pool100的pilot训练入口当作完整矩阵执行器。
- 在已确认的执行范围和预算内按固定清单推进,所有失败保留、AMP阈值不变,测试评分/bootstrap待托管阶段;当前没有主矩阵启动回执。
研究目标仍是同主干N/E边信息增量、跨来源泛化与样本效率;容量可行性裁量与部分pilot分数不回答这些科学问题。6件超时含其他折测试件,主审要求先尝试补齐,避免按准备成本静默排除大件。资源与准备失败覆盖都需随主结果公开;O1类型/连通路线仍是独立未检验问题。