Files
MeltMind/docs/s2-main-engineering-and-budget-2026-11-15.md
T

48 lines
7.4 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# S2 主矩阵前工程验收与预算/执行计划
当前只完成独立工程验收及计划。没有新的GPU训练、标签解码、准备或主矩阵执行。原pilot、诊断、v2零run停止和接续失败及旧源码全部保留。Claude1794698179.161599决定宽128按可行性采用,宽度效应未检验;原pilot自动选宽仍null,验证分数不用于解释该决定。
## 已完成条件与独立监督器
Claude1794698584.380959接受128显存条件:N128/E128的整run reserved峰值7.679688/7.677734GiB,allocated均约4.3834GiB;两个run都完整42轮覆盖最大187345节点件。这是包含最大件执行的全程上界,没有逐件隔离峰值记录,也没有补跑。
新的tools/s2_main_memory_guard.py是独立模块,没有矩阵启动CLI,不改旧监督器。对当前run目录所有JSON(progress/result/failure/history/epoch等)递归提取peak_reserved_bytes和peak_allocated_bytes,保留跨覆盖/删除的累计最大值、来源文件SHA和观察时间。运行时每约0.5秒扫描记录并结合设备抽样/主机RSS;任何记录峰值超过15GiB就停止本任务的匹配命令子进程。无result或worker失败退出也强制再扫描;保存原worker状态、原停止原因及所有监督原因。无效峰值/损坏记录失败关闭。其他进程不终止。
监督器要求启动环境PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True,记录该值并由现有进程监督器传给子进程。只有完整结果且两类峰值存在才可能PASS。单run上限沿提案≤1800秒、15GiB VRAM、16GiB主机RSS、5GiB输出;调用者必须显式给累计worker CPU限额,未来矩阵入口仍须单独维护全局预算。此模块没有把90-run执行器或托管评估器实现完成。
7/7 CPU合成检查通过:仅progress reserved超限触发停止;失败无result的最终扫描;峰值跨覆盖/删除保留;history/result两类记录取最大;非法峰值拒绝;缺allocator环境在spawn前拒绝;真实受监督CPU子进程收到allocator/GPU可见性环境(未调用CUDA)。真实N256历史记录只读扫描重现15.2890625GiB上限违反。保留原guard缺口,不回写过去为已按新规则执行。检测发生在记录落盘/设备采样后,不宣称连续无采样延迟。
## Allocator配置核查
PyTorch2.5.1+cu124、CUDA12.4、native allocator。设置后读取allocator snapshot,expandable_segments=true;四张Tesla V100-SXM2-16GB的CUDA属性102(VIRTUAL_MEMORY_MANAGEMENT_SUPPORTED)均true。只查元数据,没有分配GPU张量,torch.cuda.is_initialized=false;这证明配置解析/驱动能力,不冒称实际分配工作负载验收。未来获准主矩阵必须在启动前设置并在实际运行回执中记录;数值计算、AMP1%和E_max42不变。
## 名单与复用裁量
1794698584曾允许在名单完全相同的条件下复用两个pilot cell。核查指出旧cell使用382学习/111验证,回填6件后会变更名单。Claude1794698734.967459最终裁定:补齐6件、统一完整名单、90run全部fresh;两个pilot只作历史证据,不复用权重,不将其checkpoint SHA绑定为主矩阵初始化。历史reuse-candidates明确标为已被取代,预算回到90新run。
准备计划精确列131项:6个真实超时件独立标记再准备,单件60min/1.25GiB、0重试;125个fold0测试件首次S2几何/特征准备,单件30min/1.25GiB,标签只在托管步骤解码。不能直接用旧会解码标签的pilot ready入口处理这125件。主矩阵开始前,根据所有准备终态生成唯一名单SHA;仍失败件在所有五折一致排除,保留原组件身份和逐件失败/节点/质量报告,不重抽或重排原组件/池。现有493成功准备可复用几何/特征,不能把准备复用与pilot权重复用混淆。
原125测试标签在本次验收仍封存。主矩阵各fold角色必须由已固定split映射明确授权;不得以元数据规划为已解封标签。测试预测仅在其余矩阵一起进入托管评估时生成,不提前补pilot测试预测。
## 成本依据与提案(不是已经放行的预算)
N128/E128实测guard总wall1129.340542/1121.351987秒,均42轮。固定矩阵5外折×3组件比例档(25/50/100%)×3匹配种子×2臂=90个fresh神经fit;宽128,E_max=cosine_T_max=42,AMP首轮比例豁免/后续1%及最多20连续跳步规则保持。15行逐折/池件数、节点数与估时在planned-fold-pool-costs.csv,90个明确run ID在planned-neural-cells.json(不可执行计划)。
以两臂实测wall按(目标学习节点+验证节点)/(成功pilot学习节点+验证节点14,555,918)同比例外推,90run约19.94聚合GPU小时;加25%工程余量和每run20秒空闲确认约25.43小时。此为混合训练/验证/设置速率估计,没有假称掌握128分阶段速率。
较保守情景把90run全部按本次完整池实测计价:28.13 GPU小时;加25%余量及空闲确认35.67小时。两情景均不是统计置信上限,allocator、其他fold大小和池分布可能改变耗时,不计早停节约。提议单run≤30min、全部90run聚合墙钟硬限46GPU小时(90×30min=45h,再给正常门控/设置余量);门控等待也记账,到总限可能未完成,不能自动加时。四卡并发只有在对应卡空闲、每卡隔离监督及聚合计账实现验收后再定,不能把聚合GPU小时直接承诺为多卡日历时长。
准备另账:125件合计3,467,310节点;用历史包含中止/恢复成本的125134.74286CPU秒÷15,193,914原计划节点作保守率,预计约7.93 worker CPU小时。另给6件各60分钟最多6小时,加25%余量约17.42小时,提议新增20 worker CPU小时/累计100GiB输出,仍是规划、未启动。
R2-G24为15个fold×pool最终fit;每格最多12个HPO配置,共最多180 HPO+15最终fit。尚无拟合实测,不能给可信耗时预测。提议单线程每fit≤30 CPU分钟、合计100 worker CPU小时作为硬上限,首个获准固定fit后做成本检查再派发后续;不保证全部195 fit能完成。B0确定性计算/托管预测/统计以及缺失准备的实际实现与开销另列,不能将上述神经估时称为项目全成本。
## 进入顺序与待办
1. 固定本工程包及Claude名单/预算裁量;原失败证据永久保留。
2. 独立实现并冻结131件不解码测试标签的准备队列与账本;按上述名单规则产出唯一最终roster SHA。当前只列计划,不宣称已实现或启动队列。
3. 依据roster生成每fold/pool的角色白名单与学习统计、共同查询及目标;固定90fresh神经cell和15 R2/HPO清单。准备失败一致剔除、组件配对及覆盖报告沿既定政策,不凭pilot部分分数改变科学设计。
4. 将本监督器与allocator设置接入新主矩阵入口,验收全局预算、失败终态、不重试/不替补、无提前测试访问及托管预测输出;不复用旧硬编码fold0/seed0/pool100的pilot训练入口当作完整矩阵执行器。
5. 在已确认的执行范围和预算内按固定清单推进,所有失败保留、AMP阈值不变,测试评分/bootstrap待托管阶段;当前没有主矩阵启动回执。
研究目标仍是同主干N/E边信息增量、跨来源泛化与样本效率;容量可行性裁量与部分pilot分数不回答这些科学问题。6件超时含其他折测试件,主审要求先尝试补齐,避免按准备成本静默排除大件。资源与准备失败覆盖都需随主结果公开;O1类型/连通路线仍是独立未检验问题。