Files
MeltMind/tools/build_s1_sampled_review.py

98 lines
12 KiB
Python
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""Package fixed sampled draws and a prospective O2 budget plan; no O2 execution."""
import csv
import hashlib
import json
from pathlib import Path
import shutil
import zipfile
def sha(p):return hashlib.sha256(Path(p).read_bytes()).hexdigest()
def read(p):return json.loads(Path(p).read_text())
def main():
root=Path('artifacts/s1-sampled-draw-2026-11-14')
done=read(root/'completion.json');verified=read(root/'verification.json')
assert done['status']=='COMPLETE' and verified['status']=='PASS' and verified['original_precheck_compared']
rows=list(csv.DictReader((root/'summary.csv').open()))
plan='''# 后续 sampled O2 内存与监督计划(尚未执行)
每场预算为完整生产进程墙钟 1800 秒、RSS 1,342,177,280 bytes(1.25 GiB,1280 MiB)。本次只提交计划;抽样已完成不构成 O2、S1 或训练放行。
## 完整执行范围
一次只启动一个制件/一个原始姿态生产进程。计时从启动子进程前开始,包括 Python 导入、几何与已保存 d 装载、全件原节点梯度张量、全部四点源张量/树、全部抽中 unique 锚点积分、O2 节点及真 tet 边读出、检查与写盘。完成、落盘、进程退出后才停止计时。不存在仅给核循环计时的豁免。所有源点、质量、冻结 R、原节点梯度定义、整件 t_part/R_g 保持原定义;只减少查询锚点。
每件执行目录与 started 标记排他创建;顺序队列持锁。启动前核对固定 draw/输入/代码 SHA。全部 unique ID 各积分一次,包括随后资格不合格节点;不得为节约成本先删点,也不得因重复/预算/资格失败重抽或换件。
## 内存分项(每件 memory_plan.json)
- 已测全源计数进程峰值,作为含几何、四点坐标/质量、树与拓扑的基线;它不是未来进程的实测值。
- 144×S:全源 3×3 FP64 张量 72S 加一次构造副本 72S。
- 160×N:全原节点张量、支持质量及构造/副本空间。
- 512×Kmax:一个抽中锚点的最大邻居列表、源张量提取与核计算临时空间规划额度。
- 1024×U:抽样锚点核输出、谱分解、B 与 gate/摘要读出额度。
- 128×D:抽中锚点的有向真 tet 边端记录额度。D 由原 geometry.edges 直接计数;一条两端均被抽中的无向边贡献两个锚点边端。
- 512×4096:边端分块工作额度;块不超过 4096 条。只取本锚点 B,不为未抽中邻居额外积分,也不一次性复制所有边的 B。
- 256 MiB:分配器、写盘与未建模临时空间储备。
以上为保守规划加和,可有重叠;不是已证明的上界,更不是 sampled O2 实测 RSS。后续实现若额外保留数组、复制全源多次、批量缓存全部邻居或改变上述内存行为,必须先重审计划。若实测临时峰值突破预算,监督照常失败,不能用本计划豁免。完整查询邻居列表只保留一个锚点,逐件释放大数组;NPZ 解压/压缩与谱分解也受监督。
## 外部监督与失败记录
外部父进程用 monotonic 时钟,每 20ms 检查生产进程 VmRSS/VmHWM,若产生子进程则检查整个生产进程树 RSS 合计;禁止并行 case。对消失进程和 zombie 的空状态允许无采样值,不能触发 max(empty) 并误报成功。已有 supervise_o2_rep_safe.py 提供此前空状态修复参考,但本次并未实现或验收 sampled O2 驱动。
到墙钟/RSS门后立即终止该生产进程组,记录触发值、采样时间、退出码/信号、最后进度、完成/未完成 ID;短暂清理期仍计入实际墙钟。不再启动替补或重抽。20ms 采样不保证捕获所有瞬时峰值;正常退出还要读取生产端 ru_maxrss(Linux KiB 转 bytes),以观测峰值最大者作最终判断;无法取得最终状态记不完整,不当作通过。父进程正常退出、全部 unique 完整写盘、后验峰值/总墙钟均合格后,才可登记该场完成。
5e8 visits 仅预警,没有隐含 2.5e9 等访问硬上限。0.73 μs×V_vis 只是核工作规划情景,未包含固定准备、全部 O2 读出或写盘,不能保证总墙钟。预检旧几何/壁距/计数耗时不当作未来核时间。预算不足交 Claude/Grok 裁量,保留原面板和 draw。
## 下一道门
先审本包完整 draw 回执、exact visits 和此计划;之后明确批准并核对 sampled O2 驱动与监督实现,才启动核。共同资格、eligible draw 数、n_ref 均待 O2 后给出;当前 unique 数只是 n_ref 的上限,不能据此宣布短缺门通过。折规则为已冻结的 LOPO-24:第 f 折测试 panel_index=f,其余 23 件训练,无额外验证集;来源一件一组,故也为留一来源。fold_table.csv 与逐件 fold_identity.json 明列完整身份,同一件跨折复用本次 draw。S1、置换、bootstrap、训练均未执行。
'''
(root/'SUPERVISION_PLAN.md').write_text(plan)
lines=['# M2 v1.2 sampled:24件固定抽样与成本交付','',
'24件全部完成,每件2000次有放回质量PPS抽样。没有重复全节点计数,没有计算新距离、核、O2谱/方向特征、S1、置换、bootstrap或训练。','',
f"总抽次48,000;不同物理节点合计{done['total_unique']:,};保存counts上全部unique的精确访问和{done['total_exact_unique_visits']:,}。逐件unique为1,382–1,944,尚非共同合格参照数n_ref。独立逆CDF重放全部48,000有序抽次、Counter复核重复次数、对照原输入及原边拓扑全部通过。",'',
f"实际抽样/文件生成耗时{done['wall_seconds']:.3f}秒,生产进程峰值{done['process_peak_rss_bytes']/2**20:.2f} MiB;这是本次draw程序,不是未来O2。",'',
'[运行前Slack启动回执](https://arcticnimbus.slack.com/archives/C0C78UFKGRM/p1794637933386369);[Claude最终GO](https://arcticnimbus.slack.com/archives/C0C78UFKGRM/p1794637115335019);[Grok接受1406与draw GO](https://arcticnimbus.slack.com/archives/C0C78UFKGRM/p1794637276919639);[回读的原Drive正文](https://drive.google.com/file/d/1LDZBY2n2OrL2ipnH18wyZLJgV72rqhPd/view)。','',
'## 固定抽样与身份','',
'沿固定预检提交81f56afaca38304a4b5f48921927f97669ebbac9的24件原始姿态。全部d>0节点是候选,概率为原集总质量m_i/Σ(d>0)m_i。候选按tet子网格ID升序,已核原VTU ID映射在此顺序严格递增。NumPy1.26.4,PCG64 SeedSequence([2026111400,numeric_prefix]),Generator.choice(size=2000,replace=True,p=...)。每件只执行一次,不按谱、Neff、gate、成本或后来资格删候选。','',
'每件draw.npz及draw_slots.csv保存有序2000抽次;unique.csv/NPZ保存排序不同ID、原VTU ID、multiplicity、质量、概率、原邻居计数。inputs.npz包含完整d、m、counts和raw-ID向量,评审者无需先下载旧60MB包即可复现抽样/精确访问和。原输入文件哈希与预检result.json也保留;verification.json记录这些向量与旧原件逐位对照。原几何拓扑未重复打包,核对边计数可用旧固定包运行带--precheck的复核。','',
'panel_index、case、source_key、numeric_prefix均保留。完整fold_table.csv为已冻结LOPO-24:第f折测试panel_index=f,其余23件训练,无额外验证集;本面板每来源一件,故亦为leave-one-source-out。每件fold_identity.json明确test一次/train23次,并绑定同一draw SHA;各折秩映射仅用训练池。初次执行时漏接此前13:34裁量,初始draw_contract及receipt中的fold_roles=null保留为历史,由fold_contract.json正式覆盖,不再表示身份待定;未重抽或改变任何draw。Claude/Grok14:32–14:33确认原文随包。','',
'种子用途分离:主抽样1400;置换1401–1405;bootstrap1406(均以前缀202611组成完整整数并以prefix派生)。后两项未执行。保留历史v1.1预检契约;本draw_contract只覆盖v1.2明确替代的抽样/秩/查询/短缺条款。','',
'## 逐件精确成本与规划','',
'V_vis=Σ_{i∈U}counts[i],每个unique只计一次,包括核后可能不合格点。既不按multiplicity重计,也不按unique/N外推。下表秒数仅为0.73微秒/访问的核工作情景,不是总墙钟保证;MiB为含O2读出/边端/临时空间的保守规划加和,非实测。详见逐件memory_plan.json及SUPERVISION_PLAN.md。','',
'|前缀|d>0候选|unique|精确访问数|核情景秒|内存规划MiB|5e8预警|',
'|---:|---:|---:|---:|---:|---:|---|']
for r in rows:
lines.append(f"|{r['numeric_prefix']}|{int(r['positive_candidates']):,}|{int(r['unique_drawn']):,}|{int(r['exact_unique_visits']):,}|{float(r['future_kernel_scenario_0_73us_seconds']):.3f}|{int(r['future_memory_planning_bytes'])/2**20:.2f}|{r['visit_alarm_5e8']}|")
lines+=['','6件触发5e8访问预警,未替换或重抽。各件核情景0.396–756.440秒,最高内存规划1059.07MiB;情景均在1800秒/1280MiB内,但不代表未来O2实际预算通过。访问数不能推导峰值内存;固定准备、O2读出、写盘和实际峰值仍须完整监督。','',
'共同资格、eligible draw数和n_ref当前均为null。不能以unique数代替合格参照数或宣布新短缺门通过;后续依据固定Neff/谱/gate/边块条件计算,不补抽。','',
'## 复现与文件','',
'完整ZIP含每件全部数组/CSV/回执/内存账本、原输入摘要、当前正文及GO快照、代码、验证和哈希清单。Git另展开README、计划、总表、契约、复核与24份回执/内存账本供在线审阅;ZIP内信息没有删减。','',
'在解压根目录运行(NumPy1.26.4):','```sh','python tools/verify_s1_sampled_draw.py artifacts/s1-sampled-draw-2026-11-14','```','如同时解压旧预检包,可追加 `--precheck artifacts/s1-panel-precheck-2026-11-14` 对照原缓存与原边拓扑。默认命令不重算距离/邻居,不写文件,不运行核。draw生成器拒绝已有输出目录,禁止用复跑覆盖既有draw。','',
'本包完成draw/cost阶段。后续sampled O2需Claude/Grok明确放行及驱动实现审核;S1和训练仍未启动。','']
(root/'README.md').write_text('\n'.join(lines))
dest=Path('artifacts/s1-sampled-review-delivery-v2-2026-11-14');dest.mkdir(exist_ok=False)
files={p for p in root.rglob('*') if p.is_file() and p.name!='execution.lock'}
files.update(Path(p) for p in ['tools/draw_s1_sampled.py','tools/verify_s1_sampled_draw.py','tools/build_s1_sampled_review.py','tools/supervise_o2_rep_safe.py','docs/s1-m2-v1.2-draw-current-source-2026-11-14.md','docs/s1-m2-v1.2-draw-go-2026-11-14.txt','docs/sharing-authorization-2026-11-14.md','docs/s1-m2-v1.2-fold-confirmation-2026-11-14.txt'])
manifest=[dict(path=str(p),bytes=p.stat().st_size,sha256=sha(p)) for p in sorted(files)]
archive=dest/'MeltMind-M2-v1.2-sampled-draw-20261114.zip'
with zipfile.ZipFile(archive,'x',zipfile.ZIP_DEFLATED,compresslevel=6) as z:
for row in manifest:z.write(row['path'],row['path'])
z.writestr('PACKAGE_MANIFEST.json',json.dumps(manifest,indent=2)+'\n')
(dest/'PACKAGE_MANIFEST.json').write_text(json.dumps(manifest,indent=2)+'\n')
for p in root.iterdir():
if p.is_file() and p.name!='execution.lock':shutil.copy2(p,dest/p.name)
for row in rows:
case=row['case']
for name in ['receipt.json','memory_plan.json','fold_identity.json']:
shutil.copy2(root/case/name,dest/(case+'.'+name))
(dest/'SHA256SUMS').write_text(''.join(f'{sha(p)} {p.name}\n' for p in sorted(dest.iterdir()) if p.is_file()))
print(json.dumps(dict(files=len(manifest),archive_bytes=archive.stat().st_size,archive_sha256=sha(archive),destination=str(dest)),indent=2))
if __name__=='__main__':main()