Files
MeltMind/docs/s2-custody-evaluation-review-2026-11-15.md
T

42 lines
6.1 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# S2 统一托管评估:执行与集中裁量包
## 已接受最终裁量与实现
Claude1794729482.815749、1794729794.605549已关闭全部科学/资源缺口。下文初始提案S5被纠正:以fb827178冻结522件成员名单(含UNKNOWN)为准,SHA8d037786040c6fc11fa80ceb0f41dfdd58478a2576404505a64aa29a2216a22f;逐件∩617roster∩主有效集。bool仅cross-check,实际0差异。保留517件/188组件;50% E/N按主有效集还排fold1,指标资格未解码前不预断。原候选/roster剔除/空组件与逐折分母在exposure-audit.json。pilot参与独立披露、不追加排除。
Bootstrap单一全有效组件抽样框、不按折分层;component ID排序,PCG64(SeedSequence(2026111408)),2000次,双方同索引、seed块随组件,linear百分位,未舍入端点六区间。参考均值0的replicate计数保留、不补抽;实现遇此情形不声称有效CI/决策。worst group按臂最大组件均值描述。
实现:s2_custody_common/statistics、run_s2_custody_predict/predictions/score、prepare_s2_custody。13项合成/元数据验收PASS,2.614s;不读取真实标签,不调用真实模型推理。测试包括失败退出前最后一次记录的VRAM峰值越限仍STOP。真实预测必须另有绑定contract SHA的main-review.json;真实解码必须全部预测哈希核验且scoring-freeze.json绑定contract/预测终态/Git提交。无label reader的推理进程与托管解码进程独立,原训练源码完全不改。
完整训练证据远端固定6903c07365c7879b3fcbe9b78d8dbc3aec695ae0。当前实现待一次主审,预测与评分未执行。
训练已完成并冻结,神经89 PASS/1 NA,R2最终15 PASS;100%池15对全有效。此阶段检验新件查询覆盖内的E/N增量与R2-G24强基线,不检验O1类型组织、真实连通或工业决策可靠性。已有研究方法与本项目差别见固定v0.2–v0.6;R2是Gre24-style图距离近似,不称复现。缺少原生CAE对照、完整场评价及工艺干预仍是边界。
## 不变的进入顺序
1. 冻结原始终态、失败、合同、89神经与15 R2有效模型哈希;失败N权重只作历史证据,不能用于预测。
2. 从无标签几何准备读取同一合格query及multiplicity;89神经模型以与验证相同的FP32推理,15 R2模型和确定性B0=Vf*t_set。每个件只用其外折模型,三个池/三seed不重fit。90计划格中一个显式NA占位。
3. 全部预测写完并哈希固定,评分源码/配置固定到Git且获裁量后才托管解码。先预测后标签,无任何结果驱动修改。
4. 独立解码器每个included件一次读取Fill_time并提取共同eligible查询;不能借用别折训练target缓存冒充本折未读。新托管输出单独保存。
5. 按冻结统计产生逐件、组件、折、汇总、次要和NA表;组件bootstrap2000次,seed2026111408,种子不重抽;报告条件于固定折、训练和选择。
## 待Claude一次裁量的明确提案(未默认为已批准)
- S1 汇总:对每个组件内等权件、每件先算count-weighted relative L2;固定3seed等权;将各折的外测组件合并后组件等权,不先给五折相等权重。另列各折误差以显示分布。
- S2 缺失:A4的全件/三seed双方有效严格生效。50%池fold1缺seed0 N会排除该折所有测试组件于E/N配对bootstrap,不用剩余2seed补齐;E原始单臂结果保留。N/R2、E/R2各用自身两臂共同有效组件并明确各自分母;确定性R2/B0不视作三份独立样本。
- S3 次要指标汇总:near-wall按同一件公式但mask=0<d/t_part<=0.25,空域/零真值范数NA并列原因;配对组件全件/三seed有效才入。Kendall用固定5000均匀i<j有放回点对、保留ties,末到位置按最小原ID解并列,欧氏距/Rg。均先seed均值、件均值再组件等权,仅描述,无新门槛。
- S4 worst group:报告最大组件均值relative L2(先件/seed等权),列组件ID、件数、所属折;不选“最坏若干”或重新调参。
- S5 not-known-exposed:按冻结roster的development_exposed标记,组件任何成员true即整组件exposed;not-known-exposed不声称untouched。是否需另并入pilot学习/验证参与记录,请明确;当前宽128按可行性裁量而非验证择优,历史试验/全库几何筛查仍披露。
- S6 推理失败:任何新预测、ID/hash、非有限值或预算失败即全阶段STOP,不自动改变模型或降精度,不继续解码;将具体错误交主审。真实模型不能在合成验收阶段运行。
- S7 独立资源提案:5个按外折的预测任务,每个最多45分钟wall、15GiB显存/16GiB进程树RSS/20GiB输出,最多4张V100、每张单worker,所有等待/初始化/R2/B0/失败计入总4 GPU-h,零重试。托管解码+评分最多10 worker CPU-h、3小时wall、16GiB RSS;总新增输出100GiB。先一个完整外折作成本检查,之后才并发其余外折;预计超限就停交裁量,不静默扩展。
## 固定报告范围
主100%池Delta=1-E/N,m=0.1、六区间;N/R2、E/R2及B0同表。25/50%学习曲线明确是组件比例并列每折实际件数/节点数;NA按pool/arm;617 included、7 excluded及节点份额,覆盖表逐件,query-only声明。宽128可行性、未测试宽度效应、AMP跳步case未记、R2第二进程身份未记、全库历史筛查、固定fold/seed条件化bootstrap均保留。
合成验收应包含:预测读入无标签、失败权重拒绝、模型/合同/预测哈希变化拒绝、预测缺件不解码、计数权重与组件权重、三seed完整配对、六区间边界、ties与最小ID、近壁空域、主arm排序和零范数。通过后固定代码再进入真实预测;解码更须全部预测冻结及最终统计裁量。
## 主审通过及两个条件关闭
Claude1794730198.146459实读固定6e4d991d主审通过。预测前补上prepare元数据及源码R2_COLUMNS[0]==Vf的按名断言、范围[0,1]与B0秒值Vf*t_set;base前三列按名确认,synthetic明确(x-center)/Rg,末到距离正好除Rg。14项验收PASS,无真实预测/标签。原待审合同保存contract-before-main-review.json;执行合同仅按审查改动更新source pins,尚无started标记。