Files
MeltMind/docs/phase2-h2-architecture-2026-11-17.md
T

56 lines
10 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# B2 / H2-GEO:真实网格局部消息与粗全局状态
MeltAssist,2026-11-17。架构建议稿,非已实现/已训练结果。已实读 Claude Slack 1794886306.593149、1794886581.653639、唯一研究树 bf0a6c0f,以及 Melt 的 H1-RES 合同草稿 0a60f5d6。Mold 审物理先验,Melt 唯一实现/执行,Claude 一次合同主审。本文件不另开队列,也不维护第二份研究树。
## 目的与比较范围
用真实 tet 局部连通传递细部信息,用小规模全局隐状态传递远距离影响,直接查询原 tet 节点上的 H1 残差。比较冻结 A、H1-RES、H2-GEO。H2 与前两者改变了模型族、容量、归一化和优化方法;正结果不单独识别“连通信息”的因果收益,负结果也不否定所有算子。
Claude1794887342.147059已限定本次正式 H2 为 grouped 552/204 的 **100% 池、五折、seed0,共五个全新模型**,先回答主池可行性;25/50%、其他seed与v4随机协议留给后续树上扩展,不能在成本不足后偷偷挑折。固定200epoch/末轮评分/成本不过暂存已原则接收,实际启动仍依唯一合同主审。H1的三个池及v4已获授权范围不受影响。
目标和指标严格引用 H1 最终冻结合同:r=t*−cF,解码为 cF+r_hat。已实读 Claude1794886866.775119 和 Mold 的 [H1规格](https://drive.google.com/file/d/1WHFdSP7dNUKxkEqa4SSwgp1k6lcSmfuJ/view),读回SHA256为91ecc62fb821e9fee31d9166df5263fac663cc22c5ff18549b103aea35c59333。原FP64 F用于做差和解码,19列保持A的FP32入模语义;不能用FP32首列升回FP64代替原F。c为本格learning件的retained-tet最大T/t_set先组件内平均再组件等权,接H1冻结值及名单/hash。模型内部残差FP32;监督残差先FP64形成后cast,最终r_hat转FP64与原cF相加,还原秒亦FP64。训练FP32不等于可把skip降精度。F已在A的19列内,不是新增输入。cF(learning clock)与原EIK=t_set*F基线分列。无因果损失、PDE损失、谱特征、拓扑损失或几何预训练。拓扑诊断引用Mold的全tet干域H0(-T)、并列整层、持续度.01/图距.10Rg/阶段差.05及空事件规则,不是焊线标签;这些阈值随唯一合同固定,不在H2另选。
## 一个固定结构,不做架构搜索
1. **输入与身份。** 每件原 tet 节点19列、坐标、完整 tet connectivity、正的节点集总体积质量 m_i。raw_node_id 是查询身份;图节点按该顺序编号。坐标中心和 Rg 用本件几何/质量计算,不用到达时间。连接分量指网格物理分量,不能与划分用的亲缘组件混淆。
2. **局部图。** 每个真实 tet 的六条无向边去重后加两方向;不补欧氏 kNN、半径边、跨空气短路或不同连通分量的边。原坐标缩放为 (x−质心)/Rg,边属性为 delta_x/Rg 与长度/Rg。保留全节点,不把薄肋或窄道粗化掉。原网格本身不可靠时记输入问题,不能声称邻接天然等于正确物理模型。
3. **宽度64,四个块。** 输入 MLP 为19→64→64,GELU。每块先 pre-LayerNorm,再局部消息、粗全局状态、FFN,各自残差相加。FFN 为64→128→64,GELU;dropout0。局部消息是 `a_ij = softplus(MLP_4→16→1(edge_ij))`,`u_i = sum_j a_ij*m_j*W h_j / sum_j a_ij*m_j`;空邻域输出0。归一化分母正值检查,不能用任意 epsilon 掩盖零质量输入。局部消息是学习型图平均,不称有限体积守恒通量或 Hele–Shaw 离散。
4. **每个物理连通分量64个全局状态。** 每块用节点特征生成64维 softmax 分配 s_ik,`z_k=sum_i m_i*s_ik*V h_i / sum_i m_i*s_ik`;64状态做4头 self-attention(头维16),随后 `g_i=sum_k s_ik*z'_k` 回到节点。不同分量独立聚合与attention,模型权重共享。全球通信是信息通道,不称真实邻边、压力响应或物理分区;分配允许同一分量内远点共享token。
5. **原域解码。** 节点隐状态与其标准化19列拼接,MLP 83→64→1 输出 r_hat;末层权重和bias初始化0,使初始输出恰为 cF。全节点预测按 raw IDs 恢复,既定 query 是严格索引子集。没有最近点插值或查询子图替代全 tet 拓扑。预测不裁剪负值、不强加浇口值。
实现只依赖现有 PyTorch 张量/scatter 或稀疏操作;需固定实际软件版本,不把某论文名称当作已移植。来源为 ML 地图中的 MGN 真实连接、RIGNO 区域通信和 Transolver-3 分块状态思想的组合;**这是新配方,未声称复现三者任一架构。**
## 分块与数值约束
消息按至多65536条有向边分块,全局归约和查询按至多8192节点分块。全局状态必须汇总同一层的所有节点后再attention,不能把各块各自归一化后的结果简单平均。分块是内存调度,不是切断物理域。训练必须保留所有块的梯度贡献;必要时对块做 activation checkpoint,不能 detach 全局池化或仅最后一块反传。
按Mold1794887530与已核全文审阅3541052d的两项修订:局部边块须先跨块按接收节点累加分子、分母,最后相除。令ξ=(x−质心)/Rg,边方向固定j→i,属性为(ξj−ξi,|ξj−ξi|),只缩放一次。该方向MLP及笛卡尔输入不自动保证旋转不变性;归一化均值保常数不等于质量守恒。
**验收分成两个不混用的设置。** 正式零初始化末层只验初始cF;它使上游梯度恰0,不能证明chunk反传完整。full/chunk合成验收另设同一固定非零读出、非恒定输入/监督和非对称质量,跨至少两块;先证参考整图局部消息、全局分配/值投影参数梯度非零,再比较输出、loss、裁剪前梯度及一个optimizer更新的绝对误差和相对尺度。正式初始化仍为零头,不增加架构变体。
**分量隔离的对象是消息路径。** 固定F、Rg、质量、全部预处理特征和其他输入,只扰动另一物理分量的隐藏状态,当前分量的模型输出应不动。不能增大另一分量体积再要求输出不变,因为整件F/Rg本身会改变。分量索引须与件ID、节点ID联合隔离,不合并不同件的同号分量。全局状态可在同一连通模腔内传递远端信息,但不能解释为跨壁通量。
全程 FP32 模型/聚合/loss/optimizer,无 fp16 autocast、无GradScaler;CPU统计及最终skip解码用float64。V100不采用bf16作为默认替代。使用固定稳定softmax和按分量的正质量归约。训练日志列有限性、梯度范数、参数更新数;出现非有限数值立即留证停止,不自动换精度或放宽阈值。
单GPU工作进程,allocated与reserved峰值均≤15GiB;CPU树RSS建议≤16GiB,CPU准备上限建议2 worker CPU-h,磁盘≤20GiB,均待同一次工程合同落实。guard须读 progress/history/result **以及失败路径** 的最大记录值,不能只看成功result或设备抽样。固定 allocator 配置及其实际生效信息;不为通过上限静默缩模型/删节点。
## 显式训练配方
- 每折仅其100% learning角色用于均值/方差和拟合。19列按学习池全部 tet 节点等权、float64 Welford、population std 标准化;std=0时scale=1。held-out只用冻结transform,不裁剪。原始F另存供skip使用,禁止把标准化F直接加入输出。目标不再按件或按测试端点归一化;使用H1冻结t*与c。
- 优化器 AdamW,lr=1e-3,betas=(0.9,0.999),eps=1e-8,weight_decay=1e-4;bias及LayerNorm参数无weight decay。global gradient norm clip=1.0。seed0,逐epoch固定种子派生的件序shuffle;batch为一整件,无HPO。
- **200个完整epoch,固定最后epoch模型。** 前10epoch学习率线性从1e-4升到1e-3,后190epoch cosine到1e-5;按已完成epoch更新,step在训练后。记录公式和0/1基epoch解释;不得临时把cosine终点改为预算剩余轮数。验证分数只诊断、不选宽/改学习率/早停/选checkpoint。
- loss为H1同支持域、单位节点权的残差MSE。均匀逐件SGD时,件i的mean loss乘 `N_parts*n_i/N_total`,使目标对应全学习池节点等权;每件完整节点loss再step一次,查询分块不能变成额外optimizer steps。CPU/GPU块累积都不重复计节点或PPS multiplicity。若H1最终支持/权重变化,必须同步写入合同,不静默继承旧S2 query层次权。
- 验证指标每10epoch及200epoch记录,算全成本。训练损失、学习率、梯度、更新数及最后20epoch走势保留;若200轮结束仍下降,只能说明本配方尚可能欠训练,不能宣布平台或自动续训。
## 成本门与树上决定
≤2 GPU-h pilot 包含等待、setup、失败和计时,≤16 GPU-h是包含pilot的累计帽。建议正式五模型训练预留12 GPU-h,预测/全节点指标2 GPU-h;CPU指标成本另入工程合同,不把GPU帽当免费CPU。pilot只用fold0 learning几何及允许的验证接口,不读测试目标;用小/中/最大节点边数代表件测前后向、完整pool至少一个epoch的真实时间和峰值,记录参数数目。
先无标签CPU合成门(连通分量隔离、跨空气边为0、节点置换、full/chunk同值与梯度、raw ID恢复、零残差恰还原先验、失败时VRAM峰值拒绝),再数值/成本pilot。pilot不用于按验证成绩选候选。按训练节点/边/验证频率作五折200轮的保守投影,乘1.25余量并计setup与预测;不能容纳完整五折则该配方记PARKED(resource),提交实测成本给Claude,不把200悄改为42轮后称完成。
五模型/NA终态先冻结,完整预测及scorer再冻结,再统一评分。复用A/H1确切hash,主组件等权相对L2、tau-b、末点距离/Rg和Mold已冻结的辅助诊断按相同域列分母;失败/缺件不删除。正负均由Claude记录认知与下一步,没有自动第三分支或重试。
## 待一次主审关闭的具体接口
Mold已完成物理接口审阅,全文SHA256为3541052da60cf4e79aab1611e2cc66cc4e97c630bdc6bc0b9a69df9bf672a460,两个验收修订已纳入;不是要求再审一次。Melt落实全tet图/19列/raw IDs来源hash、CPU准备和新件成本、依赖版本、guard及上述非零梯度验收。Claude在唯一工程合同审阅CPU/GPU分账及完成/剪枝规则;范围与固定配方沿已给裁量。初稿4ab237e6保存在artifacts/phase2-ml-planning-2026-11-17/h2-architecture-v1-4ab237e6.md,审阅原文另存同根,保留版本证据。本增量未运行合成或训练。