← 交互预演 Markdown 原稿(课程仓库,需权限) · 样本索引

为什么同一个晶体初态会生成不同的候选?

MatterGen 把一个晶胞写成 X=(A,F,L)X=(A,F,L):AA 是离散元素,FF 是周期分数坐标,LL 是晶胞矩阵。三个变量共用去噪网络和噪声时刻。实验改变的是带噪状态如何走向下一步,或条件如何改变这一步的预测。以下用 EDM 的设计维度逐项分析项目固定版本,再讨论哪些图像扩散方法能够迁移到晶体。MatterGen 论文 · EDM 论文

1. 在训练时固定了什么?

设计选择 MatterGen 中的具体含义 为什么会影响轨迹
数据空间和尺度 给定站点数 nn,元素取类别,分数坐标位于三维环面,晶格在选定取向后用对称矩阵描述。 0.99→0.010.99\rightarrow0.01 的一个分数坐标变化可以只跨过 0.020.02 个周期。比较相邻帧要先消除跨边界跳变。
加噪路径 q(Xt∣X0,n)q(X_t\mid X_0,n) 元素采用有吸收态的离散链,位置采用 wrapped VE,晶格采用向指定均值回归的 VP。给定干净结构后,各字段分别采样扰动。 三个变量有不同的终点分布。晶体图上的一个共享网络学习它们在数据中的关联。
网络参数化和损失 位置与晶格学习“score × 边际标准差”,推理时除以对应标准差。元素预测干净类别的 logits,通过 D3PM 后验更新。base 的位置、晶格和元素损失权重为 0.1、1、1,离散混合损失系数为 0.01。 改采样器前要先把网络输出还原为该求解器需要的量。位置用周期密度的梯度,类别用概率分布。
采样时的选择 官方线性时间网格共 1,000 级,默认连续变量先做一次 Langevin corrector,再做 ancestral predictor;元素只做 ancestral predictor。 在同一组冻结权重上可改变连续步的随机性、更新次数和积分器。改变类别时间步需要相应的多步转移。

EDM 还讨论训练噪声分布、损失加权、输入输出预条件、采样噪声网格、数值积分与额外随机噪声等可分开的设计选择。EDM 论文中的 ρ\rho 网格、Heun 二阶积分和 $c_{\rm skip},c_{\rm out},c_{\rm in}$ 参数化属于它提供的具体方案。MatterGen 使用上表的逐字段目标和 PC 配置。本项目采用 EDM 的分析视角,实验保留已训练的模型目标与噪声范围。base 配置 · MaterialsLoss · 默认采样器

2. 三类变量的起点意味着什么?

  • 元素。 设 K=1000K=1000。前向第 kk 次转移(从 k=0k=0 计)将尚未遮住的元素以 1/(K−k)1/(K-k) 的概率改成 MASK;已经遮住的元素保留 MASK。因此经过 jj 次正向转移,单个位点被遮住的概率是 j/Kj/K。生成从全 MASK 开始,由网络预测干净元素分布,再结合当前状态和离散后验抽样。八个站点的单条轨迹可以在某一段一个元素都没有揭开。某一帧的 MASK 占比也无法用来估计候选的物理可信度。掩码转移率 · 反向元素采样
  • 位置。 前向边际可写为 Ft=(F0+σn(t)ϵ)mod⁡1F_t=(F_0+\sigma_n(t)\epsilon)\bmod 1,σn(t)=n−1/30.01(5/0.01)t\sigma_n(t)=n^{-1/3}\,0.01(5/0.01)^t。高噪声时一个位点可以跨越多个晶胞周期,例如 n=8n=8 时 t=1t=1 的标准差为 2.5 个分数坐标周期。模型实际以高斯采样、缩放并取模实现位置先验。反向位置更新后同样要回到周期区间。晶体专用 SDE · 周期更新
  • 晶格。 令 μn=(n/0.0577145)1/3I\mu_n=(n/0.0577145)^{1/3}I、vn=0.25n2/3v_n=0.25n^{2/3}、β(t)=0.1+19.9t\beta(t)=0.1+19.9t。前向均值从 L0L_0 向 μn\mu_n 回归,边际方差向 vnv_n 接近;源码直接从该极限分布采样初始晶格。对称噪声让 LijL_{ij} 与 LjiL_{ji} 成对变化。若有八个站点,先验中心的边长约 5.18 Å,独立矩阵分量的标准差为 1 Å。这个中心表达训练集的密度尺度,生成的晶格仍可偏离立方形状。晶格 VP 与先验构造

3. 把“像 DDIM 的 ODE”写成可检验的实验

对一个连续字段,若前向动力学为 dx=fdt+GdWdx=f\,dt+G\,dW,D=GG⊤D=GG^\top 与该字段的当前位置无关,且 sθs_\theta 估计相应分数,在从高噪声走向低噪声的时间坐标中可写出

反向 SDE:dx=(f−Dsθ)dt+GdW‾,概率流 ODE:dx=(f−12Dsθ)dt,dt<0. \begin{aligned} \text{反向 SDE:}\quad & dx=(f-Ds_\theta)\,dt+G\,d\bar W, \\ \text{概率流 ODE:}\quad & dx=(f-\tfrac12Ds_\theta)\,dt,\qquad dt<0. \end{aligned}

关键的实现差别在 score 前的 1/21/2。对于位置,用 wrapped VE 的扩散系数并在一步后取模;对于晶格,使用回归 μn\mu_n 的漂移、晶格自己的扩散系数和对称矩阵表示。对元素,保留 1,000 次 D3PM 后验抽样。这样得到的第三组是 连续字段概率流 Euler + 离散随机更新。在理想连续模型中,匹配的概率流 ODE 与 SDE 可以有相同的边际分布;这条结论不要求逐样本终点相同,也不证明有限步混合晶体采样达到相同物理质量。Score SDE · DDIM

三组比较各有不同的解读。官方 PC 对 ancestral-only 检验一次 Langevin 校正及其额外模型调用带来的变化。ancestral-only 对混合概率流 使用同样的噪声时刻和模型调用预算,比较连续积分规则。跨随机种子 检查观察结果是否只出现在某一个初态。共同类别随机数只是配对手段,连续几何分叉后就会产生不同类别 logits,最终元素也可以分叉。官方采样顺序

DDIM 在连续高斯图像扩散中给出了使用同一训练目标的隐式生成路径,其中 η=0\eta=0 有确定性更新;数值方法、时间网格和噪声参数化都影响离散轨迹。此处的 Euler 步是本组对连续字段的实现。通用图像 DDIM scheduler 依赖其 α‾t\bar\alpha_t 和预测参数化,直接把元素类别 ID 作为实数送入会破坏类别转移语义。减少统一时间步数还会改变 D3PM 每一步所对应的转移,缩步需要显式构造跨步离散后验。DDIM · D3PM

4. 与图像扩散、掩码扩散和扩散语言模型比较

本项目中的 MDM 指 Masked Diffusion Model(掩码扩散模型),描述离散标签逐渐被遮住、再由模型恢复的生成机制。dLLM 描述语言模型的应用类别。两者有交集,例如 LLaDA 用掩码扩散生成文本;MatterGen 把同一机制用于元素标签,并与两个连续几何字段联合建模。掩码扩散 · LLaDA

方法 网络看什么、预测什么 与 MatterGen 相通的地方 在本实验中需要区分什么
图像 DDPM / DDIM 连续像素或潜变量上的高斯扰动,可采用噪声预测;DDIM 改变反向路径。 冻结权重后,求解器和随机性仍会改变过程与单个样本。 单一连续图像张量没有独立的周期晶格及类别后验。几何部分的推导可以借鉴,元素要另行处理。DDPM · DDIM
图像 Flow Matching 指定条件概率路径,训练网络回归速度场;可用直线噪声到数据的插值训练速度。生成时积分学到的向量场。 可以比较一阶、二阶积分以及同预算下的轨迹差异。 MatterGen 的连续速度要由已学 score 和 SDE 系数换算。更换推理积分器并未更换训练目标。Flow Matching
MDM(Masked Diffusion Model) 用吸收态 MASK 逐步遮住离散标签,去噪网络利用其余可见上下文预测干净类别,再按反向转移恢复标签。 MatterGen 的元素就是这一类离散变量:模型先给每个位点预测元素 logits,D3PM 再对照当前标签与噪声级构造反向一步的分布。 晶体位点的上下文包括当前晶格、周期邻居和位置。这些几何量仍在连续扩散;因此全体元素已确定时,几何仍可更新。MDM · D3PM
扩散语言模型 LLaDA 词表上的 token 经过掩码扰动,由双向 Transformer 预测遮住位置的 token,生成策略迭代更新掩码。 元素和词都适用分类 logits 与离散扰动,MASK 可以直观显示未知标签。 每个晶体位点同时有连续位置,每个样本还有一个共同晶格。MatterGen 用 D3PM 后验选择下一个元素状态,语言推理中的 token 选择策略另有定义。LLaDA

控制条件还可改变模型看见的结构级信息。本项目使用冻结的化学体系权重和空间群权重,对比相同起点下更换目标的结果。化学体系有输出元素白名单;空间群由条件嵌入引导,再从最终 CIF 识别空间群。两种结果适合分别讨论“哪些元素可以出现”和“空间排列实现了什么对称性”。完整的张量和编码走读见数据、网络与条件实现。