Implement bounded S2 preparation and sealed pilot execution

This commit is contained in:
Frank14f committed 2026-11-15 02:37:29 +08:00
1 parent fb827178ec
commit f8a6ed3f81
35 files changed
+2626

No files matched your search

@@ -0,0 +1,47 @@
# S2 pilot 接续实现与合成验收
本包是实现及合成检查,**没有启动真实训练、标签读取或 GPU 计算**。十件无标签测量另有正在运行的固定队列;它的源码和输入契约不因这里新增实现而变化。已有 N/E/R2 模型代码沿 Claude 接受的 `f3532962`,组件/拆分沿已接受 `fb827178`。
## 已获裁量及输入准备
Claude [1794680129.303719](https://arcticnimbus.slack.com/archives/C0C78UFKGRM/p1794680129303719) 固定 pilot 外折 0、seed 0;387 学习 +112 内验证 =499 件。125 测试件封存。本端选择只准备必要的 499 件,不执行可选的测试几何准备。
独立准备预算 60 worker CPU-h、≤16 workers、≤100 GiB;每件整条链 ≤30 min /1.25 GiB,0 重试/替换。十件 3h/5GiB 独立账本不挪用。十件完成后按成功的九件新算样本 pooled CPU/node(排除复用的 666)外推全部 499 件,并留 25% 操作余量;磁盘按实测最大 bytes/node 外推并加25%。若超限先报告。另报告中位/p95/max情景,不把线性外推当保证。
首 50 件全部终止前不启动第 51 件;检查点按“复用完整准备 / 新准备”两类分别估计每节点 CPU,计入失败 CPU,再加剩余节点成本;缺观测类别用初始率。磁盘按已处理节点率外推。超 60 CPU-h/100 GiB 则停止报告。运行中还监控全局 CPU/磁盘;原始超限与部分产物保留。
失败学习/验证件按 Claude 裁量只在 pilot 中明确删除,不补件;保留原组件身份。若十件已有失败,接续记录继承失败而不重算同件。此成功者子集政策不是主矩阵完整性条件的豁免。
新 `s2_preprocess_pilot.py` 是 v1 的单独适配,不改十件运行中的 `s2_preprocess.py`:新增旧 S1 主 draw/O2 原姿态缓存复用,必须精确匹配查询 ID、次数、原始 ID、节点数与半径;重新应用 S2 资格,不重新积分旧 O2,不使用 S1 gate-q 筛选位图。
## 标签封存
`role-manifest.json` 先固定学习、验证和封存测试 ID。`s2_pilot_data.py` 在打开任何 archive 前拒绝测试、未知或角色冲突 ID;只解码获准件 PointData 下精确名为 Fill_time 的数组,按原始 VTU ID 对应 tet 节点。其他仿真字段不解码,不用 LOG 求解输出。只对共同合格查询验证非负有限标签;目标为 T/t_set。无合格查询或有效查询标签异常则失败,不按标签值另择查询。
已完成十件输入按不可变结果/文件哈希直接复用;准备成功才提取非测试标签。训练加载器再次按身份拒绝测试,核 base/query/label 哈希,并验证共同 ID 与次数一致。学习输入标准化只允许学习件映射;验证/测试传入会在读数组前拒绝。
## 训练入口
固定顺序 N128、E128、N256、E256,全部 seed 0、外折0、100% component fraction。所有 tet 节点进入相同 encoder;N/E 共用固定资格、两列谱隙,E 额外四列边读数,原模型不改。
每 run 都在资源监督计时内,以实际成功学习件全节点拟合 base 标准化并冻结;跨 run 要求相同 fingerprint。这里重复的是相同输入统计验证,不是几何/谱场重算。学习/验证各按实际成功件及保留组件报告,不能冒称原完整池。
AdamW 1e-3、weight_decay1e-5、cosine 200 epochs、batch一件、patience20。每 epoch 用独立 PCG64(seed0) 顺序遍历学习件;每件次数归一 /组件内成功件数 /成功组件数,再乘学习件总数,作为均匀打乱件步骤的全局目标无偏权重。不把每件权重重新归一为1。损失和标准化 FP32,AMP float16;非有限 loss/gradient/parameter 失败,不静默切精度、缩配或重试。
验证沿原逐件秒单位相对 L2,再组件内等件、组件等权;用原 float64 标签计算,不把真值先量化为 float32。保存最低验证误差 checkpoint;20 epoch无改善停止,最多200。四个有效 run齐备才按两臂验证误差均值选一次全局宽,并列小宽。失败/不完整时不从剩余 run 偷选宽。
## 监督
单 V100 UUID 明确写入运行契约。总 pilot ≤2 h 墙钟,单 run ≤30 min,全部加载、输入统计、训练、验证和保存均在 run guard 内。实际单 run 预留少量监督收尾时间;不是额外试验预算。
`s2_gpu_process_supervisor.py` 从既有 CPU 监督器仅增加显式 CUDA visibility 参数与回执字段,保留 wait4 CPU/HWM、进程组终止、subreaper、排它/不可重跑规则;原 E1 监督器不改。设备监控独立读取 nvidia-smi,整卡显存 >15 GiB、整棵 guard+worker 树 RSS >16 GiB、监控失败均终止本 run;同时保存 PyTorch allocated/reserved峰值并复核。先检测指定卡空闲;其他进程不被终止。轮询可能瞬时超调,保留实际峰值与间隔,超调不能报PASS。
任何一个真实 run失败则停止后续试验并报告;0自动重试、0缩配。所有测试折标签/预测保持封存。准备失败件剔除与训练数值失败是两类不同事件。
## 合成证据
16/16 新 pilot 实现检查通过:标签封存4、缓存身份/CPU外推2、训练权重/四种实际模型合成反向/容量选择4、GPU监督模拟4、训练入口隔离2。四种模型只在9个合成节点上做 CPU 参数更新,没有真实数据或 GPU。此前十件适配6项与原监督6项记录另附,未重跑旧科学计算。
首次 GPU环境传递测试 2/3 通过:128 MiB测试上限低于 PyTorch 父进程 fork/exec 瞬时HWM。单独诊断确认子进程 exit0、CUDA环境正确,失败原因为 `rss_limit_after_exit`,峰值382,091,264 bytes。保留失败及诊断,测试预算改1GiB后通过;正式16GiB主存/15GiB显存上限未改。模拟显存超限、设备监控故障及整棵树超内存均确认停止、无下一run。测试中的资源锁关闭警告也已修正,最终日志无该警告。
这是合成验收,不能证明真实499件准备完毕、V100内存适配、训练收敛或预测收益。下一步先完成十件实测及预算核对,再准备非测试池,之后以固定实现提交 Claude 主审和实际有界 pilot;不新增用户逐批审批。
@@ -0,0 +1,40 @@
# S2 十件完整准备测量:执行契约与适配
接续 Claude 已接受的组件/拆分 `fb827178`,以及 [1794679459.056999](https://arcticnimbus.slack.com/archives/C0C78UFKGRM/p1794679459056999) 的十件→pilot 顺序。当前队列只做十件无标签准备;pilot 的四次训练、总 ≤2 GPU-h、单次 ≤30 min、单 V100、15 GiB VRAM/16 GiB host、0 重试及封存测试折沿既定规则,尚未运行。
研究目标是新件填充代理的泛化与样本效率。固定来源组件提供防泄漏约束,不是 CAD 母型真值;十件成本测量仅检验准备流水线可执行性及资源,并不证明预测收益。沿既有 Gre24 图距近似和 Transolver N/E 对照,不重开已完成 G1/盲审、不否定仍开放的 O1 类型/连通问题。
## 名单与预算
复用原 `ten_part_plan.csv`,顺序 1130、1324、842、367、746、777、1552、1379、610、666;三分位各三件加固定最大件,不重选、不替换。唯一顺序队列,一 worker、一数学线程;单件完整进程树 ≤30 min / 1.25 GiB,整个十件阶段 ≤3 h 墙钟、≤3 CPU-h(worker + supervisor)、≤5 GiB 新磁盘。超限保留失败、无重试,剩余件仍仅在总预算内执行。既有输入不复制计为新科学计算,但新输出计磁盘。
原 `s2_e1_supervisor.py` 未改,SHA 与先前六项监督验收一致。新协调器把每件墙钟缩到阶段剩余时间,并扣除 supervisor CPU 后传递共享 CPU 上限;已有 attempt 或批启动标志时拒绝再次启动。RSS/磁盘采用轮询,保留实际间隔和超调,不冒称内核硬配额。
## 输入与复用
冻结契约 `artifacts/s2-ten-part-measurement-2026-11-15/contract.json` 在第一 worker 前生成,记录源码、原名单、逐件输入 SHA256、给定 t_set 及其已核查 LOG 设置出处。
- 全部十件复用 G1 tet-only points/boundary/center/Rg,不再计算指纹或配准。九件缺 tetra 拓扑时从原 VTU 几何前缀提取,遇 PointData/CellData 则停止报错;只解码 Points/connectivity/offsets/types。读取 YML 的门坐标。
- 666 在旧 intake/routes/O2 中有兼容结果。严格白名单仅打开旧 NPZ 的 points_raw、tetra、node_volume_raw、boundary_triangles、edges、gate_location_raw 六个成员,其他成员不解码。距离及 O2 原姿态全节点缓存校验后复用;O2 只按新固定 draw 取子集,不重复积分。
- 其余九件补缺失精确边界距离,按既有 SurfaceDistance 保守三角面搜索及 30 点 brute 检查;不使用近邻截断或厚度替代。
- t_set 只来自先前核验的 Process Settings/Filling Control 给定值;不读取 Fill_time 场、真实终止时间、压力或流率时间序列。原始文件完整保留。
这是复用兼容缓存的实际生产路径成本,不是十件全冷启动成本;结果逐阶段注明新算/复用,不能用 666 复用耗时估计全新最大件成本。
## 科学与数据契约
尺度遵循既定全节点体积集总下加权中位数 d,t_part=4 median、R=10 median;非正值失败,无 fallback。全件 center/Rg/volume 与节点质量一致校验。
抽样:已有 24 件的 S1 主 draw 若存在就原样复用;其他件 seed=[2026111400,prefix]、PCG64、正距离节点体积 PPS 有放回 2,000 槽,ID 按原 tet 子网/原 VTU 升序,所有臂复用同一次抽样和次数。666 的旧等价测试 draw 不冒充主 draw。
S2 新资格单独版本化为 `S2-v1-no-gate-q`:d>0、O2-rep v1.1a valid、N_eff≥64、所有真实入射边端均评估、至少一个有效有限端、摘要和 g 有限。保持原 S1 边块规则;删除模型不用的 gate-q 筛选,保留原门坐标。只在固定抽中节点上积分,源仍为全件四点求积,不缩源。
输出每件全节点 base10、固定 draw ID/次数、g2、E4、资格/覆盖/拒绝原因,以及 R2-G24 全节点 20 列。N/E 无限制 tet-edge 门图距与 R2 排除 wall-wall 边的 Di/Df 分开;R2 不可达整件基线路径失败,不插补。若 R2 失败,保留已完成 N/E 部分并记 PARTIAL_R2_FAILED,不把部分完成写成完整成功。零中位数或早期失败也原样保留。所有原始无效及拒绝记录保留。
本次不拟合 base standardizer;后续必须按冻结外折/学习池全节点拟合,同一统计给 N/E,不用验证或测试节点。无标签读取、优化器、训练或 GPU。
## 实现验收与报告约束
新增 6/6 合成检查通过:白名单不会打开标签成员、抽样和原 ID/次数不变、非正中位数失败、S2 不继承 gate 筛选、完整真实入射边汇总、阶段剩余墙钟和 supervisor CPU 扣账。监督器先前 6/6 记录及源码哈希同时附带;没有重复运行旧全套几何或盲审检查。
按 Claude 最新要求,后续每张学习曲线表/图的 25/50% 点必须标 **component fraction**,同时给每折实际件数和节点数。固定 15 行计数见 `public/learning-curve-x-axis.csv`;25% 的 58–145 件差异保留,不重抽样,也不把它解释成等件数预算。100% 主对比不改。