Files
MeltMind/docs/s2-pilot-implementation-2026-11-15.md
T

48 lines
6.1 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# S2 pilot 接续实现与合成验收
本包是实现及合成检查,**没有启动真实训练、标签读取或 GPU 计算**。十件无标签测量另有正在运行的固定队列;它的源码和输入契约不因这里新增实现而变化。已有 N/E/R2 模型代码沿 Claude 接受的 `f3532962`,组件/拆分沿已接受 `fb827178`。
## 已获裁量及输入准备
Claude [1794680129.303719](https://arcticnimbus.slack.com/archives/C0C78UFKGRM/p1794680129303719) 固定 pilot 外折 0、seed 0;387 学习 +112 内验证 =499 件。125 测试件封存。本端选择只准备必要的 499 件,不执行可选的测试几何准备。
独立准备预算 60 worker CPU-h、≤16 workers、≤100 GiB;每件整条链 ≤30 min /1.25 GiB,0 重试/替换。十件 3h/5GiB 独立账本不挪用。十件完成后按成功的九件新算样本 pooled CPU/node(排除复用的 666)外推全部 499 件,并留 25% 操作余量;磁盘按实测最大 bytes/node 外推并加25%。若超限先报告。另报告中位/p95/max情景,不把线性外推当保证。
首 50 件全部终止前不启动第 51 件;检查点按“复用完整准备 / 新准备”两类分别估计每节点 CPU,计入失败 CPU,再加剩余节点成本;缺观测类别用初始率。磁盘按已处理节点率外推。超 60 CPU-h/100 GiB 则停止报告。运行中还监控全局 CPU/磁盘;原始超限与部分产物保留。
失败学习/验证件按 Claude 裁量只在 pilot 中明确删除,不补件;保留原组件身份。若十件已有失败,接续记录继承失败而不重算同件。此成功者子集政策不是主矩阵完整性条件的豁免。
新 `s2_preprocess_pilot.py` 是 v1 的单独适配,不改十件运行中的 `s2_preprocess.py`:新增旧 S1 主 draw/O2 原姿态缓存复用,必须精确匹配查询 ID、次数、原始 ID、节点数与半径;重新应用 S2 资格,不重新积分旧 O2,不使用 S1 gate-q 筛选位图。
## 标签封存
`role-manifest.json` 先固定学习、验证和封存测试 ID。`s2_pilot_data.py` 在打开任何 archive 前拒绝测试、未知或角色冲突 ID;只解码获准件 PointData 下精确名为 Fill_time 的数组,按原始 VTU ID 对应 tet 节点。其他仿真字段不解码,不用 LOG 求解输出。只对共同合格查询验证非负有限标签;目标为 T/t_set。无合格查询或有效查询标签异常则失败,不按标签值另择查询。
已完成十件输入按不可变结果/文件哈希直接复用;准备成功才提取非测试标签。训练加载器再次按身份拒绝测试,核 base/query/label 哈希,并验证共同 ID 与次数一致。学习输入标准化只允许学习件映射;验证/测试传入会在读数组前拒绝。
## 训练入口
固定顺序 N128、E128、N256、E256,全部 seed 0、外折0、100% component fraction。所有 tet 节点进入相同 encoder;N/E 共用固定资格、两列谱隙,E 额外四列边读数,原模型不改。
每 run 都在资源监督计时内,以实际成功学习件全节点拟合 base 标准化并冻结;跨 run 要求相同 fingerprint。这里重复的是相同输入统计验证,不是几何/谱场重算。学习/验证各按实际成功件及保留组件报告,不能冒称原完整池。
AdamW 1e-3、weight_decay1e-5、cosine 200 epochs、batch一件、patience20。每 epoch 用独立 PCG64(seed0) 顺序遍历学习件;每件次数归一 /组件内成功件数 /成功组件数,再乘学习件总数,作为均匀打乱件步骤的全局目标无偏权重。不把每件权重重新归一为1。损失和标准化 FP32,AMP float16;非有限 loss/gradient/parameter 失败,不静默切精度、缩配或重试。
验证沿原逐件秒单位相对 L2,再组件内等件、组件等权;用原 float64 标签计算,不把真值先量化为 float32。保存最低验证误差 checkpoint;20 epoch无改善停止,最多200。四个有效 run齐备才按两臂验证误差均值选一次全局宽,并列小宽。失败/不完整时不从剩余 run 偷选宽。
## 监督
单 V100 UUID 明确写入运行契约。总 pilot ≤2 h 墙钟,单 run ≤30 min,全部加载、输入统计、训练、验证和保存均在 run guard 内。实际单 run 预留少量监督收尾时间;不是额外试验预算。
`s2_gpu_process_supervisor.py` 从既有 CPU 监督器仅增加显式 CUDA visibility 参数与回执字段,保留 wait4 CPU/HWM、进程组终止、subreaper、排它/不可重跑规则;原 E1 监督器不改。设备监控独立读取 nvidia-smi,整卡显存 >15 GiB、整棵 guard+worker 树 RSS >16 GiB、监控失败均终止本 run;同时保存 PyTorch allocated/reserved峰值并复核。先检测指定卡空闲;其他进程不被终止。轮询可能瞬时超调,保留实际峰值与间隔,超调不能报PASS。
任何一个真实 run失败则停止后续试验并报告;0自动重试、0缩配。所有测试折标签/预测保持封存。准备失败件剔除与训练数值失败是两类不同事件。
## 合成证据
16/16 新 pilot 实现检查通过:标签封存4、缓存身份/CPU外推2、训练权重/四种实际模型合成反向/容量选择4、GPU监督模拟4、训练入口隔离2。四种模型只在9个合成节点上做 CPU 参数更新,没有真实数据或 GPU。此前十件适配6项与原监督6项记录另附,未重跑旧科学计算。
首次 GPU环境传递测试 2/3 通过:128 MiB测试上限低于 PyTorch 父进程 fork/exec 瞬时HWM。单独诊断确认子进程 exit0、CUDA环境正确,失败原因为 `rss_limit_after_exit`,峰值382,091,264 bytes。保留失败及诊断,测试预算改1GiB后通过;正式16GiB主存/15GiB显存上限未改。模拟显存超限、设备监控故障及整棵树超内存均确认停止、无下一run。测试中的资源锁关闭警告也已修正,最终日志无该警告。
这是合成验收,不能证明真实499件准备完毕、V100内存适配、训练收敛或预测收益。下一步先完成十件实测及预算核对,再准备非测试池,之后以固定实现提交 Claude 主审和实际有界 pilot;不新增用户逐批审批。