Files
MeltMind/docs/s2-encoder-diagnostic-and-precision-v2-2026-11-15.md

16 lines
2.7 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# S2 编码器诊断与声明的精度修正 v2
原pilot固定5744cc119f638b46c50edf38579575ed5555318f,保持PILOT_INCOMPLETE、无选宽。Claude1794694646.032819已明确收到该固定阶段包,说明依赖MeltAstra stage-audit而未自行重验SHA;勿称其独立复核全部文件。
按Claude1794694544.819729,独立诊断固定f502b7b,session41846已完成PASS:262.806776秒/900秒,GPU设备峰值10,079,961,088字节、无监控异常,账本位于artifacts/s2-encoder-diagnostic-2026-11-15/guards。只加载382学习件,无验证数组/评分,无测试数据,不计作pilot。
十个完整epoch的训练loss及AMP摘要与原运行完全一致;重现epoch10(零起算)step371/第372步,case644(00000644_761a451dfea94bfa93e23cfe_step_000,81,832节点)。失败前参数全部有限。FP16在encoder.blocks.3.Attn.slice_numerator出现1个inf,继续传播;同一状态FP32全部层及最终输出有限,该分子最大绝对值68,573.625,大于FP16上限65,504,分母最大11,802.517578。结果69132454710b5e063567cd7424a87c23611719147ab45557f205855493ec3e41;完整failure-state.pt及逐层trace均保留。Claude1794695133.154989接受诊断并确认限定修正。
v2仅对N/E共用slice聚合分子、分母及归一化禁autocast、使用FP32。原源码包不改,新tools/s2_models_v2保留相同参数结构;blocks字节相同,network只改为引用新blocks,训练/probe副本只换模型导入。优化器、学习率、权重衰减、AMP skip政策、数据/划分、查询、模型宽度与其余计算保持原定义。
6项CPU合成检查PASS:N/E×128/256 FP32输出与梯度逐位等同;100,000节点且聚合分子超过65,504的样例v1半精度分子inf/输出非有限、v2输出有限且以rtol=atol=.005匹配FP32参考,反向梯度有限;新的guard副本在显存/主机内存/监控失败时停止且不进入下一run,设备可见性和计数器解析通过。检查原始输出在artifacts/s2-precision-pilot-implementation-2026-11-15。
新计划根artifacts/s2-pilot-v2-2026-11-15;成功manifest与原493件逐字节相同,没有重复准备或复用训练权重。计划绑定诊断/旧pilot/全部新旧源码SHA,四run从头。E256 probe重新计时并覆盖187,345节点最大件,15GiB VRAM超限报告,不调batch或width;新的E_max/共同cosine由新probe冻结。probe+设置+四run共7200秒,各run≤1800秒,125测试仍封存。
此文件记录启动前固定实现,实际启动、probe、训练和最终状态以新根orchestrator-started、guard、training-contract和complete/failure回执为准,不能把计划写成已完成。仅使用run_s2_precision_pilot.py唯一入口,不重启旧pilot或恢复队列。