本文是一篇计算机论文，本文针对晶体的属性不会随着所处位置的变化而变化的特性，设计了等变注意力机制，使得模型的预测输出不会随着晶体平移、旋转而改变，在Perov-5、MP-20、Random-10三个晶体数据集的实验结果表明，拥有等变性质的模型预测精度有较大提升，充分验证了等变性质在晶体属性预测任务中的重要性。
1绪论
1.1研究背景及研究意义
晶体是当下材料学的研究重点，现如今，晶体在各领域都扮演着重要角色，如半导体晶体、电介质晶体、超硬晶体、电解质晶体等。晶体性质预测是物理材料学中长期存在的挑战，如超导材料预测[1]、半导体材料预测等[2-3]。在物理材料学中，用于材料性质预测的方法为基于第一性原理的计算，例如密度泛函理论,分子动力学模拟，高通量筛选等，这些传统方法都是计算密集型的，且严重依赖列举，计算材料性质耗时耗力。
随着计算机算力的提升与海量数据的积累，人工智能在计算机视觉（Computer Vi-sion,CV），自然语言处理（Natural Language Processing，NLP）等领域的应用取得了巨大的进展。近年来，人工智能与自然科学的交叉研究成为研究热点，深度学习被广泛应用于材料性质的预测。作为一门理论与实践并重的学科，物理材料学在发展中累积了大量的晶体数据，包括实验数据，基于仿真软件计算的数据。得益于这些数据，深度学习模型能够得到有效的训练，海量数据为深度学习应用于材料性质预测提供了强有力的基础。
当前，注意力机制模型已被广泛应用至CV与NLP领域[4-7]，但在自然科学领域应用较少，将注意力机制引入材料属性预测任务，具有创新性；其次，注意力机制善于捕获全局信息，能够模拟晶体内部微观粒子间复杂的相互作用，用注意力机制预测晶体属性具有可行性。
1.2研究现状
1.2.1面向材料属性预测的人工智能模型研究现状
晶体性质预测任务，可分为分类与回归，分类任务诸如预测材料是否具有超导属性；回归任务诸如预测晶体材料的形成能、能带间隙等。在早期的人工智能与自然科学的交叉应用中，研究人员常用特征工程提取材料表征，如材料的相对分子质量、材料的硬度、导电导热性等，之后利用传统机器学习算法，如随机森林进行性质预测[8]，此类方法需要较强的领域知识与繁琐的特征工程步骤，同样耗时耗力。现如今，得益于材料领域海量实验与仿真数据的积累，仅利用原子类别与空间位置信息作为特征，模型便能取得良好的效果[9-12]。因此，不借助特征工程，仅利用材料的基本信息进行进行建模，成为了当今的研究热点。
当前用于材料性质预测的模型，以图网络为主[9-12]，且通常是对单个晶胞或者分子建模，而忽略晶胞间的相互作用。Schnet[10]首先利用原子词典设计嵌入层，每个原子在嵌入层中可得到相对应的特征向量；其次通过信息交互模块，模拟原子间复杂的相互作用；最后通过池化模块，融合各原子的表征，得到代表整个材料的分子表征，并利用最终得到的分子表征预测材料的力学性能。PhysNet[11]在Schnet基础之上，通过在交互模块中增添多个残差交互模块，丰富了Schnet，提升了模型的表达能力。CGCNN[12]在更新当前节点时，不仅利用邻居节点的信息，还利用原子间相连的化学键信息。除此之外，为了增强不同类型邻居节点对当前待更新节点影响的区分度，CGCNN在信息交互模块额外增添了用于计算邻居节点对当前节点相关程度的权重计算模块。
2理论基础
2.1晶体简介
晶体是由内部粒子(可以是原子、分子、离子)在空间按规律周期性重复排列形成的，晶体结构周期性基本重复单元称作晶胞。图2.1是晶体的一个实例，其中红色部分代表的是晶胞，从图中不难看出，晶体是由晶胞在空间中无限延申得到的。
晶体的周期性包括内容(称作基元)的周期性重复和空间排列(称作布拉维格子)的周期性重复，即晶胞由基元与布拉维格子共同描述。基元描述的是晶胞的具体内容，包括原子或分子的种类、数量。布拉维格子描述的是晶胞在空间中的排列，在直观上可以理解为是平行六面体U，由三条棱长ua、ub、uc以及三条棱之间的夹角uα、uβ、uγ共同决定，记作U={ua,ub,uc,uα,uβ,uγ}，这六个参数被称作晶格参数。图2.2是晶胞的示意图，其中不同颜色的球代表基元中不同的原子。
2.2机器学习算法
随着算力的提升与海量数据的积累，机器学习算法已被广泛应用。随机森林是最强大、最通用、应用最广泛的机器学习方法之一，已被大量应用于自然科学领域的建模，如预测化学反应能否顺利进行[35]，预测患中风疾病概率[36]，预测高分子聚合物属性[37]等。随机森林在晶体属性预测任务上同样取得了良好效果[38]，且后文将随机森林作为传统机器学习算法的代表，与本文提出的注意力模型进行对照，因此本小节简要介绍随机森林算法。
随机森林既能处理离散型，也能处理连续型数据，并且不需要对数据额外做归一化处理，对缺省数据也能较好处理。同时也是一种非线性算法，可以从数据中学习复杂的非线性依赖关系，不仅可以用于分类任务，还可以用于回归任务。该算法在运行速度快的同时，能够保证较高的准确率。通过随机抽样策略，还能较大程度避免过拟合，是使用十分广泛的统计学习算法。
随机森林有许多超参数，如决策树的数量，每棵决策树所允许的最大深度，分割决策树内部节点所需的最小样本数量，寻找决策树最佳分割时要考虑的特征数量等。为了修正决策树容易过拟合的缺点，随机森林采用随机有放回的抽样策略，具体而言，抽样体现在两个方面，一是对训练样本进行抽样，二是对样本特征进行抽样。随机森林算法的具体执行流程如下：
1)确定超参数，如决策树的数量，决策树所允许的最大深度等；
2)从整个数据集中，为每棵决策树随机抽取样本，作为训练该棵决策树的训练数据；
3)从样本的所有特征中，为每棵决策树随机抽取特征，用于分裂并生成决策树；4)对所有决策树的输出取平均值，作为随机森林的预测输出。
3基于晶体结构的注意力机制.........................17
3.1当前用于晶体属性预测的模型...................................17
3.1.1基于统计学的方法.................................17
3.1.2基于图网络的方法...................................17
4基于周期注意力机制的晶体属性预测.................................31
4.1模型整体架构..............................................31
4.2基于晶胞的注意力机制....................................32
5基于周期等变注意力机制的晶体属性预测.............................43
5.1等变模型定义............................43
5.2先前模型等变性质分析...............................45
5基于周期等变注意力机制的晶体属性预测
5.1等变模型定义
晶体在空间中发生旋转与平移，对应的属性不会发生变化，因此对于晶体属性预测任务，模型的预测值不应随着晶体空间位置的变化而变化，即模型应具备等变性质。本章提出了周期性等变注意力模型，由等变注意力模块与基于晶体的注意力模块组成。首先利用等变注意力模型对晶胞进行建模，得到单个晶胞的表征，该模块所得到的晶胞的表征不会随着晶体空间位置的变化而改变，其次，利用上一章节提出的基于晶体的注意力模块捕获晶胞之间的相互作用，对晶体的周期性进行建模。因此周期性等变注意力模型在充分利用了晶体周期性的同时，具有等变性质，即当晶体发生旋转或者平移时，周期性等变注意力模型的预测值不会发生变化。
假设Φ是集合V1到集合V2的映射，即Φ:V1→V2，ρ1是群G在集合V1上的群作用，ρ2是群G在集合V2上的群作用，则Φ关于ρ1与ρ2是群等变的当且仅当满足公式5-1。
6总结与展望
6.1总结
本文针对晶体的特殊空间构型，设计了周期等变注意力网络，并通过大量的实验证明了模型在晶体属性任务上的有效性。利用注意力机制模拟晶胞内原子间的复杂相互作用，在S2SNet超导晶体数据集上，可达到92%的准确率，比基于图网络的CGCNN与MEGNET提升了大约7%，比基于随机森林的机器学习算法提升了大约6%，有力证明了注意力机制对晶体建模的优越性。
针对S2SNet，设计了基于原子掩码的预训练方式，实验结果表明，预训练能够大幅提升模型的预测精度。除此之外，通过对S2SNet的嵌入层进行可视化分析，包括原子特征向量间相关系数的计算以及原子特征向量的降维可视化，验证了S2SNet具有强可解释性，侧面论证了注意力机制对于晶体建模的有效性。针对晶体的周期性，设计了分层注意力机制，使用基于晶胞的注意力机制模拟原子间的相互作用，使用基于晶体的注意力机制模拟晶胞间的相互作用，通过模型在Perov-5、MP-20、Random-10三个晶体数据集，十余种晶体属性的实验结果表明，分层注意力机制能够大幅度提升模型的预测精度，相比对照模型CGCNN与MEGNET提升了大约14%，相比仅使用基于晶胞的注意力机制，预测精度提升了大约6%，充分验证了分层注意力机制在晶体建模时的有效性，以及周期性信息对晶体属性预测的重要性。
针对晶体的属性不会随着所处位置的变化而变化的特性，设计了等变注意力机制，使得模型的预测输出不会随着晶体平移、旋转而改变，在Perov-5、MP-20、Random-10三个晶体数据集的实验结果表明，拥有等变性质的模型预测精度有较大提升，充分验证了等变性质在晶体属性预测任务中的重要性。
参考文献（略）