MatterGen 把一个晶胞写成 : 是离散元素, 是周期分数坐标, 是晶胞矩阵。三个变量共用去噪网络和噪声时刻。实验改变的是带噪状态如何走向下一步,或条件如何改变这一步的预测。以下用 EDM 的设计维度逐项分析项目固定版本,再讨论哪些图像扩散方法能够迁移到晶体。MatterGen 论文 · EDM 论文
1. 在训练时固定了什么?
| 设计选择 | MatterGen 中的具体含义 | 为什么会影响轨迹 |
|---|---|---|
| 数据空间和尺度 | 给定站点数 ,元素取类别,分数坐标位于三维环面,晶格在选定取向后用对称矩阵描述。 | 的一个分数坐标变化可以只跨过 个周期。比较相邻帧要先消除跨边界跳变。 |
| 加噪路径 | 元素采用有吸收态的离散链,位置采用 wrapped VE,晶格采用向指定均值回归的 VP。给定干净结构后,各字段分别采样扰动。 | 三个变量有不同的终点分布。晶体图上的一个共享网络学习它们在数据中的关联。 |
| 网络参数化和损失 | 位置与晶格学习“score × 边际标准差”,推理时除以对应标准差。元素预测干净类别的 logits,通过 D3PM 后验更新。base 的位置、晶格和元素损失权重为 0.1、1、1,离散混合损失系数为 0.01。 | 改采样器前要先把网络输出还原为该求解器需要的量。位置用周期密度的梯度,类别用概率分布。 |
| 采样时的选择 | 官方线性时间网格共 1,000 级,默认连续变量先做一次 Langevin corrector,再做 ancestral predictor;元素只做 ancestral predictor。 | 在同一组冻结权重上可改变连续步的随机性、更新次数和积分器。改变类别时间步需要相应的多步转移。 |
EDM 还讨论训练噪声分布、损失加权、输入输出预条件、采样噪声网格、数值积分与额外随机噪声等可分开的设计选择。EDM 论文中的 网格、Heun 二阶积分和 $c_{\rm skip},c_{\rm out},c_{\rm in}$ 参数化属于它提供的具体方案。MatterGen 使用上表的逐字段目标和 PC 配置。本项目采用 EDM 的分析视角,实验保留已训练的模型目标与噪声范围。base 配置 · MaterialsLoss · 默认采样器
2. 三类变量的起点意味着什么?
- 元素。 设 。前向第 次转移(从 计)将尚未遮住的元素以 的概率改成 MASK;已经遮住的元素保留 MASK。因此经过 次正向转移,单个位点被遮住的概率是 。生成从全 MASK 开始,由网络预测干净元素分布,再结合当前状态和离散后验抽样。八个站点的单条轨迹可以在某一段一个元素都没有揭开。某一帧的 MASK 占比也无法用来估计候选的物理可信度。掩码转移率 · 反向元素采样
- 位置。 前向边际可写为 ,。高噪声时一个位点可以跨越多个晶胞周期,例如 时 的标准差为 2.5 个分数坐标周期。模型实际以高斯采样、缩放并取模实现位置先验。反向位置更新后同样要回到周期区间。晶体专用 SDE · 周期更新
- 晶格。 令 、、。前向均值从 向 回归,边际方差向 接近;源码直接从该极限分布采样初始晶格。对称噪声让 与 成对变化。若有八个站点,先验中心的边长约 5.18 Å,独立矩阵分量的标准差为 1 Å。这个中心表达训练集的密度尺度,生成的晶格仍可偏离立方形状。晶格 VP 与先验构造
3. 把“像 DDIM 的 ODE”写成可检验的实验
对一个连续字段,若前向动力学为 , 与该字段的当前位置无关,且 估计相应分数,在从高噪声走向低噪声的时间坐标中可写出
关键的实现差别在 score 前的 。对于位置,用 wrapped VE 的扩散系数并在一步后取模;对于晶格,使用回归 的漂移、晶格自己的扩散系数和对称矩阵表示。对元素,保留 1,000 次 D3PM 后验抽样。这样得到的第三组是 连续字段概率流 Euler + 离散随机更新。在理想连续模型中,匹配的概率流 ODE 与 SDE 可以有相同的边际分布;这条结论不要求逐样本终点相同,也不证明有限步混合晶体采样达到相同物理质量。Score SDE · DDIM
三组比较各有不同的解读。官方 PC 对 ancestral-only 检验一次 Langevin 校正及其额外模型调用带来的变化。ancestral-only 对混合概率流 使用同样的噪声时刻和模型调用预算,比较连续积分规则。跨随机种子 检查观察结果是否只出现在某一个初态。共同类别随机数只是配对手段,连续几何分叉后就会产生不同类别 logits,最终元素也可以分叉。官方采样顺序
DDIM 在连续高斯图像扩散中给出了使用同一训练目标的隐式生成路径,其中 有确定性更新;数值方法、时间网格和噪声参数化都影响离散轨迹。此处的 Euler 步是本组对连续字段的实现。通用图像 DDIM scheduler 依赖其 和预测参数化,直接把元素类别 ID 作为实数送入会破坏类别转移语义。减少统一时间步数还会改变 D3PM 每一步所对应的转移,缩步需要显式构造跨步离散后验。DDIM · D3PM
4. 与图像扩散、掩码扩散和扩散语言模型比较
本项目中的 MDM 指 Masked Diffusion Model(掩码扩散模型),描述离散标签逐渐被遮住、再由模型恢复的生成机制。dLLM 描述语言模型的应用类别。两者有交集,例如 LLaDA 用掩码扩散生成文本;MatterGen 把同一机制用于元素标签,并与两个连续几何字段联合建模。掩码扩散 · LLaDA
| 方法 | 网络看什么、预测什么 | 与 MatterGen 相通的地方 | 在本实验中需要区分什么 |
|---|---|---|---|
| 图像 DDPM / DDIM | 连续像素或潜变量上的高斯扰动,可采用噪声预测;DDIM 改变反向路径。 | 冻结权重后,求解器和随机性仍会改变过程与单个样本。 | 单一连续图像张量没有独立的周期晶格及类别后验。几何部分的推导可以借鉴,元素要另行处理。DDPM · DDIM |
| 图像 Flow Matching | 指定条件概率路径,训练网络回归速度场;可用直线噪声到数据的插值训练速度。生成时积分学到的向量场。 | 可以比较一阶、二阶积分以及同预算下的轨迹差异。 | MatterGen 的连续速度要由已学 score 和 SDE 系数换算。更换推理积分器并未更换训练目标。Flow Matching |
| MDM(Masked Diffusion Model) | 用吸收态 MASK 逐步遮住离散标签,去噪网络利用其余可见上下文预测干净类别,再按反向转移恢复标签。 | MatterGen 的元素就是这一类离散变量:模型先给每个位点预测元素 logits,D3PM 再对照当前标签与噪声级构造反向一步的分布。 | 晶体位点的上下文包括当前晶格、周期邻居和位置。这些几何量仍在连续扩散;因此全体元素已确定时,几何仍可更新。MDM · D3PM |
| 扩散语言模型 LLaDA | 词表上的 token 经过掩码扰动,由双向 Transformer 预测遮住位置的 token,生成策略迭代更新掩码。 | 元素和词都适用分类 logits 与离散扰动,MASK 可以直观显示未知标签。 | 每个晶体位点同时有连续位置,每个样本还有一个共同晶格。MatterGen 用 D3PM 后验选择下一个元素状态,语言推理中的 token 选择策略另有定义。LLaDA |
控制条件还可改变模型看见的结构级信息。本项目使用冻结的化学体系权重和空间群权重,对比相同起点下更换目标的结果。化学体系有输出元素白名单;空间群由条件嵌入引导,再从最终 CIF 识别空间群。两种结果适合分别讨论“哪些元素可以出现”和“空间排列实现了什么对称性”。完整的张量和编码走读见数据、网络与条件实现。