Record ten-part results and fix bounded pilot timing and AMP handling

This commit is contained in:
Frank14f committed 2026-11-15 03:02:29 +08:00
1 parent f8a6ed3f81
commit cdb52988c3
42 files changed
+31677 -77

No files matched your search

+18 -6
View File
@@ -1,6 +1,6 @@
# S2 pilot 接续实现与合成验收
本包是实现及合成检查,**没有启动真实训练、标签读取或 GPU 计算**。十件无标签测量另有正在运行的固定队列;它的源码和输入契约不因这里新增实现而变化。已有 N/E/R2 模型代码沿 Claude 接受的 `f3532962`,组件/拆分沿已接受 `fb827178`。
本包是实现及合成检查,**没有启动真实训练、标签读取或 GPU 计算**。十件无标签测量的固定队列已10/10完成;它的源码和输入契约不因这里新增实现而变化。已有 N/E/R2 模型代码沿 Claude 接受的 `f3532962`,组件/拆分沿已接受 `fb827178`。
## 已获裁量及输入准备
@@ -24,15 +24,15 @@ Claude [1794680129.303719](https://arcticnimbus.slack.com/archives/C0C78UFKGRM/p
固定顺序 N128、E128、N256、E256,全部 seed 0、外折0、100% component fraction。所有 tet 节点进入相同 encoder;N/E 共用固定资格、两列谱隙,E 额外四列边读数,原模型不改。
每 run 都在资源监督计时内,以实际成功学习件全节点拟合 base 标准化并冻结;跨 run 要求相同 fingerprint。这里重复的是相同输入统计验证,不是几何/谱场重算。学习/验证各按实际成功件及保留组件报告,不能冒称原完整池。
每run在资源监督计时内核哈希一次并将学习/验证原始FP64数组缓存到host RAM,以实际成功学习件全节点拟合base标准化并冻结;跨 run 要求相同 fingerprint。这里重复的是相同输入统计验证,不是几何/谱场重算。学习/验证各按实际成功件及保留组件报告,不能冒称原完整池。
AdamW 1e-3、weight_decay1e-5、cosine 200 epochs、batch一件、patience20。每 epoch 用独立 PCG64(seed0) 顺序遍历学习件;每件次数归一 /组件内成功件数 /成功组件数,再乘学习件总数,作为均匀打乱件步骤的全局目标无偏权重。不把每件权重重新归一为1。损失和标准化 FP32,AMP float16;非有限 loss/gradient/parameter 失败,不静默切精度、缩配或重试。
AdamW 1e-3、weight_decay1e-5、cosine T_max=共同E_max、batch一件、patience20。每 epoch 用独立 PCG64(seed0) 顺序遍历学习件;每件次数归一 /组件内成功件数 /成功组件数,再乘学习件总数,作为均匀打乱件步骤的全局目标无偏权重。不把每件权重重新归一为1。损失和标准化 FP32,AMP float16;非有限loss或更新后parameter失败;GradScaler遇溢出正常skip并降scale。逐epoch记录attempted/skipped/successful/fraction,epoch0仅豁免比例;epoch>0完整epoch的skip比例>1%或跨epoch连续skip>20失败,保留失败时计数。不静默切精度、缩配或重试。
验证沿原逐件秒单位相对 L2,再组件内等件、组件等权;用原 float64 标签计算,不把真值先量化为 float32。保存最低验证误差 checkpoint;20 epoch无改善停止,最多200。四个有效 run齐备才按两臂验证误差均值选一次全局宽,并列小宽。失败/不完整时不从剩余 run 偷选宽。
验证沿原逐件秒单位相对 L2,再组件内等件、组件等权;用原 float64 标签计算,不把真值先量化为 float32。验证推理显式FP32,不使用autocast;保存最低验证误差checkpoint。20 epoch无改善停止,上限为探针预先冻结的共同E_max≤200。四个有效 run齐备才按两臂验证误差均值选一次全局宽,并列小宽。失败/不完整时不从剩余 run 偷选宽。
## 监督
单 V100 UUID 明确写入运行契约。总 pilot ≤2 h 墙钟,单 run ≤30 min,全部加载、输入统计、训练、验证和保存均在 run guard 内。实际单 run 预留少量监督收尾时间;不是额外试验预算。
单 V100 UUID 明确写入运行契约。总pilot为单卡≤2h墙钟,包含计时probe与设置;probe≤5min,四个run各≤30min,全部加载、输入统计、训练、验证和保存均在 run guard 内。实际单 run 预留少量监督收尾时间;不是额外试验预算。
`s2_gpu_process_supervisor.py` 从既有 CPU 监督器仅增加显式 CUDA visibility 参数与回执字段,保留 wait4 CPU/HWM、进程组终止、subreaper、排它/不可重跑规则;原 E1 监督器不改。设备监控独立读取 nvidia-smi,整卡显存 >15 GiB、整棵 guard+worker 树 RSS >16 GiB、监控失败均终止本 run;同时保存 PyTorch allocated/reserved峰值并复核。先检测指定卡空闲;其他进程不被终止。轮询可能瞬时超调,保留实际峰值与间隔,超调不能报PASS。
@@ -44,4 +44,16 @@ AdamW 1e-3、weight_decay1e-5、cosine 200 epochs、batch一件、patience20。
首次 GPU环境传递测试 2/3 通过:128 MiB测试上限低于 PyTorch 父进程 fork/exec 瞬时HWM。单独诊断确认子进程 exit0、CUDA环境正确,失败原因为 `rss_limit_after_exit`,峰值382,091,264 bytes。保留失败及诊断,测试预算改1GiB后通过;正式16GiB主存/15GiB显存上限未改。模拟显存超限、设备监控故障及整棵树超内存均确认停止、无下一run。测试中的资源锁关闭警告也已修正,最终日志无该警告。
这是合成验收,不能证明真实499件准备完毕、V100内存适配、训练收敛或预测收益。下一步先完成十件实测及预算核对,再准备非测试池,之后以固定实现提交 Claude 主审和实际有界 pilot;不新增用户逐批审批。
这是合成验收,不能证明真实499件准备完毕、V100内存适配、训练收敛或预测收益。按已完成主审的两项必改及补充执行:固定十件实测及预算,准备非测试池,齐备后运行有界pilot。Claude明确无需再开主审轮;不新增用户逐批审批。
## 主审修正与计时入口(本次固定版本)
依据Claude [1794681576.845789](https://arcticnimbus.slack.com/archives/C0C78UFKGRM/p1794681576845789)及[1794681807.376669](https://arcticnimbus.slack.com/archives/C0C78UFKGRM/p1794681807376669)。首次16项验收和失败诊断均原样保留;修正后26/26合成检查PASS(2.506s),见review-complete-tests.txt与review-fixes-receipt.json。
`prepare_s2_pilot_training.py`只接受499件全部终态且队列无全局停止;验证各成功准备/标签回执,列出失败件,不允许把首50子集提前当pilot池。按成功学习件节点数排序选20个等距秩,含最小/最大;量化件固定在pilot-plan.json。
`run_s2_pilot.py`只尝试一次。先由与训练共用的GPU监督器运行E256探针,≤5min;探针只读学习几何、用全学习节点固定标准化、合成零目标,无标签读取/验证指标/模型产物。每件记录同步后的训练(包括拷贝、反向和优化)及FP32推理(包括拷贝和输出回host)耗时;参数和预测丢弃。
两条rate分别为20件耗时总和除以20件节点总和,不使用件均耗时。训练rate乘原387学习件11,863,762节点,推理rate乘原112验证件3,330,152节点;成功子集实际件数/节点数另列,失败剔除后仍采用原计划节点总量作保守估计。E_max=min(200,floor(1500/预测epoch秒)),cosine_T_max=E_max;若不足1epoch则停止报告。两条rate和两端节点总量与E_max同时写入不可覆盖的training-contract.json,再启动四run。
probe实际监督用时与设置时间从7200秒总预算扣除;probe失败不启动训练,任何run失败不继续后续run。所有run还需与probe学习统计fingerprint一致。合成检查覆盖一次强制溢出后恢复、1%及20连续边界、异质节点加权外推、封存标签/host缓存、部分准备拒绝、probe失败与总预算扣除。真实V100适配和计时仍须等499准备完成后执行,合成检查不能替代。
+46
View File
@@ -0,0 +1,46 @@
# S2 十件完整实测与499件准备预算
十件原始顺序全部完成,10/10 PASS、0失败、0替补、0重试。结果/输入哈希、完整节点base、固定抽样ID/次数、S2共同资格及R2有限性复核通过。每件2000抽样槽均合格;这只描述固定十件,不外推全池资格。未读取标签、拟合模型或使用GPU。
worker CPU 2297.908952 s;supervisor CPU 86.153971 s;wall 2298.971393 s;峰worker树RSS 767,049,728 B;最终队列磁盘180,060,160 B(汇总发布前)。均在十件3h/5GiB和单件30min/1.25GiB内。
|件前缀|节点|worker CPU s|wall s|RSS MiB|
|---|---:|---:|---:|---:|
|00001130|8276|18.831|18.932|122.70|
|00001324|10273|63.157|63.169|139.79|
|00000842|11321|38.339|38.589|135.82|
|00000367|24732|81.131|81.190|183.99|
|00000746|29264|103.105|103.121|199.66|
|00000777|31810|264.992|265.090|211.30|
|00001552|34818|681.534|681.708|347.10|
|00001379|38253|141.355|141.384|237.93|
|00000610|55883|314.138|314.219|302.68|
|00000666|187345|591.327|591.480|731.52|
完整各阶段墙钟见 `artifacts/s2-ten-part-measurement-2026-11-15/public/stage-times.csv`;阶段计时不含全部导入/监督/收尾,不能与worker CPU逐项相加等同。
|阶段|十件合计wall s|
|---|---:|
|geometry_load_topology_write|18.608|
|wall_distance_load_or_compute_and_write|109.177|
|draw_and_scales|0.280|
|unrestricted_geodesic_base_write|20.171|
|o2_raw_source_kernel_readout_or_cache|426.705|
|edge_queries_eligibility_write|1.235|
|r2_features_and_write|1714.954|
666复用既有完整几何/距离及O2缓存,但R2仍计算;成本外推排除其缓存效应。1552的O2约283.87s、R2约375.39s,表明形状和邻域影响显著。
## 499非测试准备
固定外折0/seed0:387学习(11,863,762节点)+112验证(3,330,152节点),合计15,193,914节点;125测试封存。复用十件中的8件完整准备,另19件复用S1 sampled O2。
九件新准备pooled CPU/node = 0.0069761740792216812 s/node;对全部499节点计费并乘1.25,预计36.803955 worker CPU-h。实测最大输出bytes/node×全部节点×1.25,预计8.815536 GiB。均低于60worker CPU-h/100GiB。
中位/p95/max率外推剩余节点(未乘1.25)为15.19/61.99/80.49h;这些是敏感性情景,不是置信区间或预算保证。严格保留首50终态屏障,分缓存/新准备实测CPU/node重估,并在全过程执行总预算;超限停止报告。≤16workers,单件30min/1.25GiB,失败保留并仅从pilot剔除,不补件。
此固定交付时499契约已生成,worker尚未启动;pilot未启动。后续实际启动和终态有各自回执,不把预算估算或代码验收当执行完成。
原汇总字段 `MEASUREMENT_RECORDED_AWAITING_REVIEW` / `train_loop_and_GPU_supervisor=NOT_YET_ACCEPTED` 是汇总器的保守静态措辞,并非重新设审批门;Claude 1794681576.845789已指定修正合成检查后按十件→499→pilot推进,无额外主审轮。
十件batch SHA256: `dbeee3e7f4b7970ddb7e61fb051a2b78dfca14c3bf11c8635b38d71c6a77eb5b`。499契约SHA256: `f464b1ed962c880794b658cd81dd9ab4cc3ebb7df255bd603f463b883ffad8b7`。