98 lines
12 KiB
Python
98 lines
12 KiB
Python
"""Package fixed sampled draws and a prospective O2 budget plan; no O2 execution."""
|
||
import csv
|
||
import hashlib
|
||
import json
|
||
from pathlib import Path
|
||
import shutil
|
||
import zipfile
|
||
|
||
|
||
def sha(p):return hashlib.sha256(Path(p).read_bytes()).hexdigest()
|
||
def read(p):return json.loads(Path(p).read_text())
|
||
|
||
|
||
def main():
|
||
root=Path('artifacts/s1-sampled-draw-2026-11-14')
|
||
done=read(root/'completion.json');verified=read(root/'verification.json')
|
||
assert done['status']=='COMPLETE' and verified['status']=='PASS' and verified['original_precheck_compared']
|
||
rows=list(csv.DictReader((root/'summary.csv').open()))
|
||
plan='''# 后续 sampled O2 内存与监督计划(尚未执行)
|
||
|
||
每场预算为完整生产进程墙钟 1800 秒、RSS 1,342,177,280 bytes(1.25 GiB,1280 MiB)。本次只提交计划;抽样已完成不构成 O2、S1 或训练放行。
|
||
|
||
## 完整执行范围
|
||
|
||
一次只启动一个制件/一个原始姿态生产进程。计时从启动子进程前开始,包括 Python 导入、几何与已保存 d 装载、全件原节点梯度张量、全部四点源张量/树、全部抽中 unique 锚点积分、O2 节点及真 tet 边读出、检查与写盘。完成、落盘、进程退出后才停止计时。不存在仅给核循环计时的豁免。所有源点、质量、冻结 R、原节点梯度定义、整件 t_part/R_g 保持原定义;只减少查询锚点。
|
||
|
||
每件执行目录与 started 标记排他创建;顺序队列持锁。启动前核对固定 draw/输入/代码 SHA。全部 unique ID 各积分一次,包括随后资格不合格节点;不得为节约成本先删点,也不得因重复/预算/资格失败重抽或换件。
|
||
|
||
## 内存分项(每件 memory_plan.json)
|
||
|
||
- 已测全源计数进程峰值,作为含几何、四点坐标/质量、树与拓扑的基线;它不是未来进程的实测值。
|
||
- 144×S:全源 3×3 FP64 张量 72S 加一次构造副本 72S。
|
||
- 160×N:全原节点张量、支持质量及构造/副本空间。
|
||
- 512×Kmax:一个抽中锚点的最大邻居列表、源张量提取与核计算临时空间规划额度。
|
||
- 1024×U:抽样锚点核输出、谱分解、B 与 gate/摘要读出额度。
|
||
- 128×D:抽中锚点的有向真 tet 边端记录额度。D 由原 geometry.edges 直接计数;一条两端均被抽中的无向边贡献两个锚点边端。
|
||
- 512×4096:边端分块工作额度;块不超过 4096 条。只取本锚点 B,不为未抽中邻居额外积分,也不一次性复制所有边的 B。
|
||
- 256 MiB:分配器、写盘与未建模临时空间储备。
|
||
|
||
以上为保守规划加和,可有重叠;不是已证明的上界,更不是 sampled O2 实测 RSS。后续实现若额外保留数组、复制全源多次、批量缓存全部邻居或改变上述内存行为,必须先重审计划。若实测临时峰值突破预算,监督照常失败,不能用本计划豁免。完整查询邻居列表只保留一个锚点,逐件释放大数组;NPZ 解压/压缩与谱分解也受监督。
|
||
|
||
## 外部监督与失败记录
|
||
|
||
外部父进程用 monotonic 时钟,每 20ms 检查生产进程 VmRSS/VmHWM,若产生子进程则检查整个生产进程树 RSS 合计;禁止并行 case。对消失进程和 zombie 的空状态允许无采样值,不能触发 max(empty) 并误报成功。已有 supervise_o2_rep_safe.py 提供此前空状态修复参考,但本次并未实现或验收 sampled O2 驱动。
|
||
|
||
到墙钟/RSS门后立即终止该生产进程组,记录触发值、采样时间、退出码/信号、最后进度、完成/未完成 ID;短暂清理期仍计入实际墙钟。不再启动替补或重抽。20ms 采样不保证捕获所有瞬时峰值;正常退出还要读取生产端 ru_maxrss(Linux KiB 转 bytes),以观测峰值最大者作最终判断;无法取得最终状态记不完整,不当作通过。父进程正常退出、全部 unique 完整写盘、后验峰值/总墙钟均合格后,才可登记该场完成。
|
||
|
||
5e8 visits 仅预警,没有隐含 2.5e9 等访问硬上限。0.73 μs×V_vis 只是核工作规划情景,未包含固定准备、全部 O2 读出或写盘,不能保证总墙钟。预检旧几何/壁距/计数耗时不当作未来核时间。预算不足交 Claude/Grok 裁量,保留原面板和 draw。
|
||
|
||
## 下一道门
|
||
|
||
先审本包完整 draw 回执、exact visits 和此计划;之后明确批准并核对 sampled O2 驱动与监督实现,才启动核。共同资格、eligible draw 数、n_ref 均待 O2 后给出;当前 unique 数只是 n_ref 的上限,不能据此宣布短缺门通过。折规则为已冻结的 LOPO-24:第 f 折测试 panel_index=f,其余 23 件训练,无额外验证集;来源一件一组,故也为留一来源。fold_table.csv 与逐件 fold_identity.json 明列完整身份,同一件跨折复用本次 draw。S1、置换、bootstrap、训练均未执行。
|
||
'''
|
||
(root/'SUPERVISION_PLAN.md').write_text(plan)
|
||
lines=['# M2 v1.2 sampled:24件固定抽样与成本交付','',
|
||
'24件全部完成,每件2000次有放回质量PPS抽样。没有重复全节点计数,没有计算新距离、核、O2谱/方向特征、S1、置换、bootstrap或训练。','',
|
||
f"总抽次48,000;不同物理节点合计{done['total_unique']:,};保存counts上全部unique的精确访问和{done['total_exact_unique_visits']:,}。逐件unique为1,382–1,944,尚非共同合格参照数n_ref。独立逆CDF重放全部48,000有序抽次、Counter复核重复次数、对照原输入及原边拓扑全部通过。",'',
|
||
f"实际抽样/文件生成耗时{done['wall_seconds']:.3f}秒,生产进程峰值{done['process_peak_rss_bytes']/2**20:.2f} MiB;这是本次draw程序,不是未来O2。",'',
|
||
'[运行前Slack启动回执](https://arcticnimbus.slack.com/archives/C0C78UFKGRM/p1794637933386369);[Claude最终GO](https://arcticnimbus.slack.com/archives/C0C78UFKGRM/p1794637115335019);[Grok接受1406与draw GO](https://arcticnimbus.slack.com/archives/C0C78UFKGRM/p1794637276919639);[回读的原Drive正文](https://drive.google.com/file/d/1LDZBY2n2OrL2ipnH18wyZLJgV72rqhPd/view)。','',
|
||
'## 固定抽样与身份','',
|
||
'沿固定预检提交81f56afaca38304a4b5f48921927f97669ebbac9的24件原始姿态。全部d>0节点是候选,概率为原集总质量m_i/Σ(d>0)m_i。候选按tet子网格ID升序,已核原VTU ID映射在此顺序严格递增。NumPy1.26.4,PCG64 SeedSequence([2026111400,numeric_prefix]),Generator.choice(size=2000,replace=True,p=...)。每件只执行一次,不按谱、Neff、gate、成本或后来资格删候选。','',
|
||
'每件draw.npz及draw_slots.csv保存有序2000抽次;unique.csv/NPZ保存排序不同ID、原VTU ID、multiplicity、质量、概率、原邻居计数。inputs.npz包含完整d、m、counts和raw-ID向量,评审者无需先下载旧60MB包即可复现抽样/精确访问和。原输入文件哈希与预检result.json也保留;verification.json记录这些向量与旧原件逐位对照。原几何拓扑未重复打包,核对边计数可用旧固定包运行带--precheck的复核。','',
|
||
'panel_index、case、source_key、numeric_prefix均保留。完整fold_table.csv为已冻结LOPO-24:第f折测试panel_index=f,其余23件训练,无额外验证集;本面板每来源一件,故亦为leave-one-source-out。每件fold_identity.json明确test一次/train23次,并绑定同一draw SHA;各折秩映射仅用训练池。初次执行时漏接此前13:34裁量,初始draw_contract及receipt中的fold_roles=null保留为历史,由fold_contract.json正式覆盖,不再表示身份待定;未重抽或改变任何draw。Claude/Grok14:32–14:33确认原文随包。','',
|
||
'种子用途分离:主抽样1400;置换1401–1405;bootstrap1406(均以前缀202611组成完整整数并以prefix派生)。后两项未执行。保留历史v1.1预检契约;本draw_contract只覆盖v1.2明确替代的抽样/秩/查询/短缺条款。','',
|
||
'## 逐件精确成本与规划','',
|
||
'V_vis=Σ_{i∈U}counts[i],每个unique只计一次,包括核后可能不合格点。既不按multiplicity重计,也不按unique/N外推。下表秒数仅为0.73微秒/访问的核工作情景,不是总墙钟保证;MiB为含O2读出/边端/临时空间的保守规划加和,非实测。详见逐件memory_plan.json及SUPERVISION_PLAN.md。','',
|
||
'|前缀|d>0候选|unique|精确访问数|核情景秒|内存规划MiB|5e8预警|',
|
||
'|---:|---:|---:|---:|---:|---:|---|']
|
||
for r in rows:
|
||
lines.append(f"|{r['numeric_prefix']}|{int(r['positive_candidates']):,}|{int(r['unique_drawn']):,}|{int(r['exact_unique_visits']):,}|{float(r['future_kernel_scenario_0_73us_seconds']):.3f}|{int(r['future_memory_planning_bytes'])/2**20:.2f}|{r['visit_alarm_5e8']}|")
|
||
lines+=['','6件触发5e8访问预警,未替换或重抽。各件核情景0.396–756.440秒,最高内存规划1059.07MiB;情景均在1800秒/1280MiB内,但不代表未来O2实际预算通过。访问数不能推导峰值内存;固定准备、O2读出、写盘和实际峰值仍须完整监督。','',
|
||
'共同资格、eligible draw数和n_ref当前均为null。不能以unique数代替合格参照数或宣布新短缺门通过;后续依据固定Neff/谱/gate/边块条件计算,不补抽。','',
|
||
'## 复现与文件','',
|
||
'完整ZIP含每件全部数组/CSV/回执/内存账本、原输入摘要、当前正文及GO快照、代码、验证和哈希清单。Git另展开README、计划、总表、契约、复核与24份回执/内存账本供在线审阅;ZIP内信息没有删减。','',
|
||
'在解压根目录运行(NumPy1.26.4):','```sh','python tools/verify_s1_sampled_draw.py artifacts/s1-sampled-draw-2026-11-14','```','如同时解压旧预检包,可追加 `--precheck artifacts/s1-panel-precheck-2026-11-14` 对照原缓存与原边拓扑。默认命令不重算距离/邻居,不写文件,不运行核。draw生成器拒绝已有输出目录,禁止用复跑覆盖既有draw。','',
|
||
'本包完成draw/cost阶段。后续sampled O2需Claude/Grok明确放行及驱动实现审核;S1和训练仍未启动。','']
|
||
(root/'README.md').write_text('\n'.join(lines))
|
||
dest=Path('artifacts/s1-sampled-review-delivery-v2-2026-11-14');dest.mkdir(exist_ok=False)
|
||
files={p for p in root.rglob('*') if p.is_file() and p.name!='execution.lock'}
|
||
files.update(Path(p) for p in ['tools/draw_s1_sampled.py','tools/verify_s1_sampled_draw.py','tools/build_s1_sampled_review.py','tools/supervise_o2_rep_safe.py','docs/s1-m2-v1.2-draw-current-source-2026-11-14.md','docs/s1-m2-v1.2-draw-go-2026-11-14.txt','docs/sharing-authorization-2026-11-14.md','docs/s1-m2-v1.2-fold-confirmation-2026-11-14.txt'])
|
||
manifest=[dict(path=str(p),bytes=p.stat().st_size,sha256=sha(p)) for p in sorted(files)]
|
||
archive=dest/'MeltMind-M2-v1.2-sampled-draw-20261114.zip'
|
||
with zipfile.ZipFile(archive,'x',zipfile.ZIP_DEFLATED,compresslevel=6) as z:
|
||
for row in manifest:z.write(row['path'],row['path'])
|
||
z.writestr('PACKAGE_MANIFEST.json',json.dumps(manifest,indent=2)+'\n')
|
||
(dest/'PACKAGE_MANIFEST.json').write_text(json.dumps(manifest,indent=2)+'\n')
|
||
for p in root.iterdir():
|
||
if p.is_file() and p.name!='execution.lock':shutil.copy2(p,dest/p.name)
|
||
for row in rows:
|
||
case=row['case']
|
||
for name in ['receipt.json','memory_plan.json','fold_identity.json']:
|
||
shutil.copy2(root/case/name,dest/(case+'.'+name))
|
||
(dest/'SHA256SUMS').write_text(''.join(f'{sha(p)} {p.name}\n' for p in sorted(dest.iterdir()) if p.is_file()))
|
||
print(json.dumps(dict(files=len(manifest),archive_bytes=archive.stat().st_size,archive_sha256=sha(archive),destination=str(dest)),indent=2))
|
||
|
||
|
||
if __name__=='__main__':main()
|