Files
MeltMind/docs/s2-custody-evaluation-review-2026-11-15.md
T

6.1 KiB
Raw Blame History

S2 统一托管评估:执行与集中裁量包

已接受最终裁量与实现

Claude1794729482.815749、1794729794.605549已关闭全部科学/资源缺口。下文初始提案S5被纠正:以fb827178冻结522件成员名单(含UNKNOWN)为准,SHA8d037786040c6fc11fa80ceb0f41dfdd58478a2576404505a64aa29a2216a22f;逐件∩617roster∩主有效集。bool仅cross-check,实际0差异。保留517件/188组件;50% E/N按主有效集还排fold1,指标资格未解码前不预断。原候选/roster剔除/空组件与逐折分母在exposure-audit.json。pilot参与独立披露、不追加排除。

Bootstrap单一全有效组件抽样框、不按折分层;component ID排序,PCG64(SeedSequence(2026111408)),2000次,双方同索引、seed块随组件,linear百分位,未舍入端点六区间。参考均值0的replicate计数保留、不补抽;实现遇此情形不声称有效CI/决策。worst group按臂最大组件均值描述。

实现:s2_custody_common/statistics、run_s2_custody_predict/predictions/score、prepare_s2_custody。13项合成/元数据验收PASS,2.614s;不读取真实标签,不调用真实模型推理。测试包括失败退出前最后一次记录的VRAM峰值越限仍STOP。真实预测必须另有绑定contract SHA的main-review.json;真实解码必须全部预测哈希核验且scoring-freeze.json绑定contract/预测终态/Git提交。无label reader的推理进程与托管解码进程独立,原训练源码完全不改。

完整训练证据远端固定6903c07365c7879b3fcbe9b78d8dbc3aec695ae0。当前实现待一次主审,预测与评分未执行。

训练已完成并冻结,神经89 PASS/1 NA,R2最终15 PASS;100%池15对全有效。此阶段检验新件查询覆盖内的E/N增量与R2-G24强基线,不检验O1类型组织、真实连通或工业决策可靠性。已有研究方法与本项目差别见固定v0.2–v0.6;R2是Gre24-style图距离近似,不称复现。缺少原生CAE对照、完整场评价及工艺干预仍是边界。

不变的进入顺序

  1. 冻结原始终态、失败、合同、89神经与15 R2有效模型哈希;失败N权重只作历史证据,不能用于预测。
  2. 从无标签几何准备读取同一合格query及multiplicity;89神经模型以与验证相同的FP32推理,15 R2模型和确定性B0=Vf*t_set。每个件只用其外折模型,三个池/三seed不重fit。90计划格中一个显式NA占位。
  3. 全部预测写完并哈希固定,评分源码/配置固定到Git且获裁量后才托管解码。先预测后标签,无任何结果驱动修改。
  4. 独立解码器每个included件一次读取Fill_time并提取共同eligible查询;不能借用别折训练target缓存冒充本折未读。新托管输出单独保存。
  5. 按冻结统计产生逐件、组件、折、汇总、次要和NA表;组件bootstrap2000次,seed2026111408,种子不重抽;报告条件于固定折、训练和选择。

待Claude一次裁量的明确提案(未默认为已批准)

  • S1 汇总:对每个组件内等权件、每件先算count-weighted relative L2;固定3seed等权;将各折的外测组件合并后组件等权,不先给五折相等权重。另列各折误差以显示分布。
  • S2 缺失:A4的全件/三seed双方有效严格生效。50%池fold1缺seed0 N会排除该折所有测试组件于E/N配对bootstrap,不用剩余2seed补齐;E原始单臂结果保留。N/R2、E/R2各用自身两臂共同有效组件并明确各自分母;确定性R2/B0不视作三份独立样本。
  • S3 次要指标汇总:near-wall按同一件公式但mask=0<d/t_part<=0.25,空域/零真值范数NA并列原因;配对组件全件/三seed有效才入。Kendall用固定5000均匀i<j有放回点对、保留ties,末到位置按最小原ID解并列,欧氏距/Rg。均先seed均值、件均值再组件等权,仅描述,无新门槛。
  • S4 worst group:报告最大组件均值relative L2(先件/seed等权),列组件ID、件数、所属折;不选“最坏若干”或重新调参。
  • S5 not-known-exposed:按冻结roster的development_exposed标记,组件任何成员true即整组件exposed;not-known-exposed不声称untouched。是否需另并入pilot学习/验证参与记录,请明确;当前宽128按可行性裁量而非验证择优,历史试验/全库几何筛查仍披露。
  • S6 推理失败:任何新预测、ID/hash、非有限值或预算失败即全阶段STOP,不自动改变模型或降精度,不继续解码;将具体错误交主审。真实模型不能在合成验收阶段运行。
  • S7 独立资源提案:5个按外折的预测任务,每个最多45分钟wall、15GiB显存/16GiB进程树RSS/20GiB输出,最多4张V100、每张单worker,所有等待/初始化/R2/B0/失败计入总4 GPU-h,零重试。托管解码+评分最多10 worker CPU-h、3小时wall、16GiB RSS;总新增输出100GiB。先一个完整外折作成本检查,之后才并发其余外折;预计超限就停交裁量,不静默扩展。

固定报告范围

主100%池Delta=1-E/N,m=0.1、六区间;N/R2、E/R2及B0同表。25/50%学习曲线明确是组件比例并列每折实际件数/节点数;NA按pool/arm;617 included、7 excluded及节点份额,覆盖表逐件,query-only声明。宽128可行性、未测试宽度效应、AMP跳步case未记、R2第二进程身份未记、全库历史筛查、固定fold/seed条件化bootstrap均保留。

合成验收应包含:预测读入无标签、失败权重拒绝、模型/合同/预测哈希变化拒绝、预测缺件不解码、计数权重与组件权重、三seed完整配对、六区间边界、ties与最小ID、近壁空域、主arm排序和零范数。通过后固定代码再进入真实预测;解码更须全部预测冻结及最终统计裁量。

主审通过及两个条件关闭

Claude1794730198.146459实读固定6e4d991d主审通过。预测前补上prepare元数据及源码R2_COLUMNS[0]==Vf的按名断言、范围[0,1]与B0秒值Vf*t_set;base前三列按名确认,synthetic明确(x-center)/Rg,末到距离正好除Rg。14项验收PASS,无真实预测/标签。原待审合同保存contract-before-main-review.json;执行合同仅按审查改动更新source pins,尚无started标记。