Files
MeltMind/docs/s2-pilot-implementation-2026-11-15.md
T

60 lines
8.5 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# S2 pilot 接续实现与合成验收
本包是实现及合成检查,**没有启动真实训练、标签读取或 GPU 计算**。十件无标签测量的固定队列已10/10完成;它的源码和输入契约不因这里新增实现而变化。已有 N/E/R2 模型代码沿 Claude 接受的 `f3532962`,组件/拆分沿已接受 `fb827178`。
## 已获裁量及输入准备
Claude [1794680129.303719](https://arcticnimbus.slack.com/archives/C0C78UFKGRM/p1794680129303719) 固定 pilot 外折 0、seed 0;387 学习 +112 内验证 =499 件。125 测试件封存。本端选择只准备必要的 499 件,不执行可选的测试几何准备。
独立准备预算 60 worker CPU-h、≤16 workers、≤100 GiB;每件整条链 ≤30 min /1.25 GiB,0 重试/替换。十件 3h/5GiB 独立账本不挪用。十件完成后按成功的九件新算样本 pooled CPU/node(排除复用的 666)外推全部 499 件,并留 25% 操作余量;磁盘按实测最大 bytes/node 外推并加25%。若超限先报告。另报告中位/p95/max情景,不把线性外推当保证。
首 50 件全部终止前不启动第 51 件;检查点按“复用完整准备 / 新准备”两类分别估计每节点 CPU,计入失败 CPU,再加剩余节点成本;缺观测类别用初始率。磁盘按已处理节点率外推。超 60 CPU-h/100 GiB 则停止报告。运行中还监控全局 CPU/磁盘;原始超限与部分产物保留。
失败学习/验证件按 Claude 裁量只在 pilot 中明确删除,不补件;保留原组件身份。若十件已有失败,接续记录继承失败而不重算同件。此成功者子集政策不是主矩阵完整性条件的豁免。
新 `s2_preprocess_pilot.py` 是 v1 的单独适配,不改十件运行中的 `s2_preprocess.py`:新增旧 S1 主 draw/O2 原姿态缓存复用,必须精确匹配查询 ID、次数、原始 ID、节点数与半径;重新应用 S2 资格,不重新积分旧 O2,不使用 S1 gate-q 筛选位图。
## 标签封存
`role-manifest.json` 先固定学习、验证和封存测试 ID。`s2_pilot_data.py` 在打开任何 archive 前拒绝测试、未知或角色冲突 ID;只解码获准件 PointData 下精确名为 Fill_time 的数组,按原始 VTU ID 对应 tet 节点。其他仿真字段不解码,不用 LOG 求解输出。只对共同合格查询验证非负有限标签;目标为 T/t_set。无合格查询或有效查询标签异常则失败,不按标签值另择查询。
已完成十件输入按不可变结果/文件哈希直接复用;准备成功才提取非测试标签。训练加载器再次按身份拒绝测试,核 base/query/label 哈希,并验证共同 ID 与次数一致。学习输入标准化只允许学习件映射;验证/测试传入会在读数组前拒绝。
## 训练入口
固定顺序 N128、E128、N256、E256,全部 seed 0、外折0、100% component fraction。所有 tet 节点进入相同 encoder;N/E 共用固定资格、两列谱隙,E 额外四列边读数,原模型不改。
每run在资源监督计时内核哈希一次并将学习/验证原始FP64数组缓存到host RAM,以实际成功学习件全节点拟合base标准化并冻结;跨 run 要求相同 fingerprint。这里重复的是相同输入统计验证,不是几何/谱场重算。学习/验证各按实际成功件及保留组件报告,不能冒称原完整池。
AdamW 1e-3、weight_decay1e-5、cosine T_max=共同E_max、batch一件、patience20。每 epoch 用独立 PCG64(seed0) 顺序遍历学习件;每件次数归一 /组件内成功件数 /成功组件数,再乘学习件总数,作为均匀打乱件步骤的全局目标无偏权重。不把每件权重重新归一为1。损失和标准化 FP32,AMP float16;非有限loss或更新后parameter失败;GradScaler遇溢出正常skip并降scale。逐epoch记录attempted/skipped/successful/fraction,epoch0仅豁免比例;epoch>0完整epoch的skip比例>1%或跨epoch连续skip>20失败,保留失败时计数。不静默切精度、缩配或重试。
验证沿原逐件秒单位相对 L2,再组件内等件、组件等权;用原 float64 标签计算,不把真值先量化为 float32。验证推理显式FP32,不使用autocast;保存最低验证误差checkpoint。20 epoch无改善停止,上限为探针预先冻结的共同E_max≤200。四个有效 run齐备才按两臂验证误差均值选一次全局宽,并列小宽。失败/不完整时不从剩余 run 偷选宽。
## 监督
单 V100 UUID 明确写入运行契约。总pilot为单卡≤2h墙钟,包含计时probe与设置;probe≤5min,四个run各≤30min,全部加载、输入统计、训练、验证和保存均在 run guard 内。实际单 run 预留少量监督收尾时间;不是额外试验预算。
`s2_gpu_process_supervisor.py` 从既有 CPU 监督器仅增加显式 CUDA visibility 参数与回执字段,保留 wait4 CPU/HWM、进程组终止、subreaper、排它/不可重跑规则;原 E1 监督器不改。设备监控独立读取 nvidia-smi,整卡显存 >15 GiB、整棵 guard+worker 树 RSS >16 GiB、监控失败均终止本 run;同时保存 PyTorch allocated/reserved峰值并复核。先检测指定卡空闲;其他进程不被终止。轮询可能瞬时超调,保留实际峰值与间隔,超调不能报PASS。
任何一个真实 run失败则停止后续试验并报告;0自动重试、0缩配。所有测试折标签/预测保持封存。准备失败件剔除与训练数值失败是两类不同事件。
## 合成证据
16/16 新 pilot 实现检查通过:标签封存4、缓存身份/CPU外推2、训练权重/四种实际模型合成反向/容量选择4、GPU监督模拟4、训练入口隔离2。四种模型只在9个合成节点上做 CPU 参数更新,没有真实数据或 GPU。此前十件适配6项与原监督6项记录另附,未重跑旧科学计算。
首次 GPU环境传递测试 2/3 通过:128 MiB测试上限低于 PyTorch 父进程 fork/exec 瞬时HWM。单独诊断确认子进程 exit0、CUDA环境正确,失败原因为 `rss_limit_after_exit`,峰值382,091,264 bytes。保留失败及诊断,测试预算改1GiB后通过;正式16GiB主存/15GiB显存上限未改。模拟显存超限、设备监控故障及整棵树超内存均确认停止、无下一run。测试中的资源锁关闭警告也已修正,最终日志无该警告。
这是合成验收,不能证明真实499件准备完毕、V100内存适配、训练收敛或预测收益。按已完成主审的两项必改及补充执行:固定十件实测及预算,准备非测试池,齐备后运行有界pilot。Claude明确无需再开主审轮;不新增用户逐批审批。
## 主审修正与计时入口(本次固定版本)
依据Claude [1794681576.845789](https://arcticnimbus.slack.com/archives/C0C78UFKGRM/p1794681576845789)及[1794681807.376669](https://arcticnimbus.slack.com/archives/C0C78UFKGRM/p1794681807376669)。首次16项验收和失败诊断均原样保留;修正后26/26合成检查PASS(2.506s),见review-complete-tests.txt与review-fixes-receipt.json。
`prepare_s2_pilot_training.py`只接受499件全部终态且队列无全局停止;验证各成功准备/标签回执,列出失败件,不允许把首50子集提前当pilot池。按成功学习件节点数排序选20个等距秩,含最小/最大;量化件固定在pilot-plan.json。
`run_s2_pilot.py`只尝试一次。先由与训练共用的GPU监督器运行E256探针,≤5min;探针只读学习几何、用全学习节点固定标准化、合成零目标,无标签读取/验证指标/模型产物。每件记录同步后的训练(包括拷贝、反向和优化)及FP32推理(包括拷贝和输出回host)耗时;参数和预测丢弃。
两条rate分别为20件耗时总和除以20件节点总和,不使用件均耗时。训练rate乘原387学习件11,863,762节点,推理rate乘原112验证件3,330,152节点;成功子集实际件数/节点数另列,失败剔除后仍采用原计划节点总量作保守估计。E_max=min(200,floor(1500/预测epoch秒)),cosine_T_max=E_max;若不足1epoch则停止报告。两条rate和两端节点总量与E_max同时写入不可覆盖的training-contract.json,再启动四run。
probe实际监督用时与设置时间从7200秒总预算扣除;probe失败不启动训练,任何run失败不继续后续run。所有run还需与probe学习统计fingerprint一致。合成检查覆盖一次强制溢出后恢复、1%及20连续边界、异质节点加权外推、封存标签/host缓存、部分准备拒绝、probe失败与总预算扣除。真实V100适配和计时仍须等499准备完成后执行,合成检查不能替代。