Files
MeltMind/docs/s2-pilot-implementation-2026-11-15.md
T

8.5 KiB
Raw Blame History

S2 pilot 接续实现与合成验收

本包是实现及合成检查,没有启动真实训练、标签读取或 GPU 计算。十件无标签测量的固定队列已10/10完成;它的源码和输入契约不因这里新增实现而变化。已有 N/E/R2 模型代码沿 Claude 接受的 f3532962,组件/拆分沿已接受 fb827178。

已获裁量及输入准备

Claude 1794680129.303719 固定 pilot 外折 0、seed 0;387 学习 +112 内验证 =499 件。125 测试件封存。本端选择只准备必要的 499 件,不执行可选的测试几何准备。

独立准备预算 60 worker CPU-h、≤16 workers、≤100 GiB;每件整条链 ≤30 min /1.25 GiB,0 重试/替换。十件 3h/5GiB 独立账本不挪用。十件完成后按成功的九件新算样本 pooled CPU/node(排除复用的 666)外推全部 499 件,并留 25% 操作余量;磁盘按实测最大 bytes/node 外推并加25%。若超限先报告。另报告中位/p95/max情景,不把线性外推当保证。

首 50 件全部终止前不启动第 51 件;检查点按“复用完整准备 / 新准备”两类分别估计每节点 CPU,计入失败 CPU,再加剩余节点成本;缺观测类别用初始率。磁盘按已处理节点率外推。超 60 CPU-h/100 GiB 则停止报告。运行中还监控全局 CPU/磁盘;原始超限与部分产物保留。

失败学习/验证件按 Claude 裁量只在 pilot 中明确删除,不补件;保留原组件身份。若十件已有失败,接续记录继承失败而不重算同件。此成功者子集政策不是主矩阵完整性条件的豁免。

新 s2_preprocess_pilot.py 是 v1 的单独适配,不改十件运行中的 s2_preprocess.py:新增旧 S1 主 draw/O2 原姿态缓存复用,必须精确匹配查询 ID、次数、原始 ID、节点数与半径;重新应用 S2 资格,不重新积分旧 O2,不使用 S1 gate-q 筛选位图。

标签封存

role-manifest.json 先固定学习、验证和封存测试 ID。s2_pilot_data.py 在打开任何 archive 前拒绝测试、未知或角色冲突 ID;只解码获准件 PointData 下精确名为 Fill_time 的数组,按原始 VTU ID 对应 tet 节点。其他仿真字段不解码,不用 LOG 求解输出。只对共同合格查询验证非负有限标签;目标为 T/t_set。无合格查询或有效查询标签异常则失败,不按标签值另择查询。

已完成十件输入按不可变结果/文件哈希直接复用;准备成功才提取非测试标签。训练加载器再次按身份拒绝测试,核 base/query/label 哈希,并验证共同 ID 与次数一致。学习输入标准化只允许学习件映射;验证/测试传入会在读数组前拒绝。

训练入口

固定顺序 N128、E128、N256、E256,全部 seed 0、外折0、100% component fraction。所有 tet 节点进入相同 encoder;N/E 共用固定资格、两列谱隙,E 额外四列边读数,原模型不改。

每run在资源监督计时内核哈希一次并将学习/验证原始FP64数组缓存到host RAM,以实际成功学习件全节点拟合base标准化并冻结;跨 run 要求相同 fingerprint。这里重复的是相同输入统计验证,不是几何/谱场重算。学习/验证各按实际成功件及保留组件报告,不能冒称原完整池。

AdamW 1e-3、weight_decay1e-5、cosine T_max=共同E_max、batch一件、patience20。每 epoch 用独立 PCG64(seed0) 顺序遍历学习件;每件次数归一 /组件内成功件数 /成功组件数,再乘学习件总数,作为均匀打乱件步骤的全局目标无偏权重。不把每件权重重新归一为1。损失和标准化 FP32,AMP float16;非有限loss或更新后parameter失败;GradScaler遇溢出正常skip并降scale。逐epoch记录attempted/skipped/successful/fraction,epoch0仅豁免比例;epoch>0完整epoch的skip比例>1%或跨epoch连续skip>20失败,保留失败时计数。不静默切精度、缩配或重试。

验证沿原逐件秒单位相对 L2,再组件内等件、组件等权;用原 float64 标签计算,不把真值先量化为 float32。验证推理显式FP32,不使用autocast;保存最低验证误差checkpoint。20 epoch无改善停止,上限为探针预先冻结的共同E_max≤200。四个有效 run齐备才按两臂验证误差均值选一次全局宽,并列小宽。失败/不完整时不从剩余 run 偷选宽。

监督

单 V100 UUID 明确写入运行契约。总pilot为单卡≤2h墙钟,包含计时probe与设置;probe≤5min,四个run各≤30min,全部加载、输入统计、训练、验证和保存均在 run guard 内。实际单 run 预留少量监督收尾时间;不是额外试验预算。

s2_gpu_process_supervisor.py 从既有 CPU 监督器仅增加显式 CUDA visibility 参数与回执字段,保留 wait4 CPU/HWM、进程组终止、subreaper、排它/不可重跑规则;原 E1 监督器不改。设备监控独立读取 nvidia-smi,整卡显存 >15 GiB、整棵 guard+worker 树 RSS >16 GiB、监控失败均终止本 run;同时保存 PyTorch allocated/reserved峰值并复核。先检测指定卡空闲;其他进程不被终止。轮询可能瞬时超调,保留实际峰值与间隔,超调不能报PASS。

任何一个真实 run失败则停止后续试验并报告;0自动重试、0缩配。所有测试折标签/预测保持封存。准备失败件剔除与训练数值失败是两类不同事件。

合成证据

16/16 新 pilot 实现检查通过:标签封存4、缓存身份/CPU外推2、训练权重/四种实际模型合成反向/容量选择4、GPU监督模拟4、训练入口隔离2。四种模型只在9个合成节点上做 CPU 参数更新,没有真实数据或 GPU。此前十件适配6项与原监督6项记录另附,未重跑旧科学计算。

首次 GPU环境传递测试 2/3 通过:128 MiB测试上限低于 PyTorch 父进程 fork/exec 瞬时HWM。单独诊断确认子进程 exit0、CUDA环境正确,失败原因为 rss_limit_after_exit,峰值382,091,264 bytes。保留失败及诊断,测试预算改1GiB后通过;正式16GiB主存/15GiB显存上限未改。模拟显存超限、设备监控故障及整棵树超内存均确认停止、无下一run。测试中的资源锁关闭警告也已修正,最终日志无该警告。

这是合成验收,不能证明真实499件准备完毕、V100内存适配、训练收敛或预测收益。按已完成主审的两项必改及补充执行:固定十件实测及预算,准备非测试池,齐备后运行有界pilot。Claude明确无需再开主审轮;不新增用户逐批审批。

主审修正与计时入口(本次固定版本)

依据Claude 1794681576.845789及1794681807.376669。首次16项验收和失败诊断均原样保留;修正后26/26合成检查PASS(2.506s),见review-complete-tests.txt与review-fixes-receipt.json。

prepare_s2_pilot_training.py只接受499件全部终态且队列无全局停止;验证各成功准备/标签回执,列出失败件,不允许把首50子集提前当pilot池。按成功学习件节点数排序选20个等距秩,含最小/最大;量化件固定在pilot-plan.json。

run_s2_pilot.py只尝试一次。先由与训练共用的GPU监督器运行E256探针,≤5min;探针只读学习几何、用全学习节点固定标准化、合成零目标,无标签读取/验证指标/模型产物。每件记录同步后的训练(包括拷贝、反向和优化)及FP32推理(包括拷贝和输出回host)耗时;参数和预测丢弃。

两条rate分别为20件耗时总和除以20件节点总和,不使用件均耗时。训练rate乘原387学习件11,863,762节点,推理rate乘原112验证件3,330,152节点;成功子集实际件数/节点数另列,失败剔除后仍采用原计划节点总量作保守估计。E_max=min(200,floor(1500/预测epoch秒)),cosine_T_max=E_max;若不足1epoch则停止报告。两条rate和两端节点总量与E_max同时写入不可覆盖的training-contract.json,再启动四run。

probe实际监督用时与设置时间从7200秒总预算扣除;probe失败不启动训练,任何run失败不继续后续run。所有run还需与probe学习统计fingerprint一致。合成检查覆盖一次强制溢出后恢复、1%及20连续边界、异质节点加权外推、封存标签/host缓存、部分准备拒绝、probe失败与总预算扣除。真实V100适配和计时仍须等499准备完成后执行,合成检查不能替代。