为什么说 AlphaFold 2 足以改变全人类？( 四 )

以上各个需求需要生物科学家耗费巨大的时间和精力才能往前推进一点，而AlphaFold2的精准度和速度，使得上面各个生物学进展都可以得到巨大的提速和辅助，并且开启了AI科学家进军生物大分子和探索生命的巨幕，可以预见到，将来会有更多深度学习探索生命的突破性进展，因为AlphaFold2证明了，使用深度学习去解决如此困难的3D空间预测都是可行的。因此，它的贡献度足以顶上很多篇Nature/Science ，被称作诺奖级别的工作也不为过。
RelatedWork
我们先简单的讲一下之前的蛋白质三维结构预测是怎么预测的。首先要知道的一点就是，仅仅通过一串氨基酸序列，就计算出蛋白质里每个原子的三维空间坐标，实在是太难了。因此， MSA ，检索模板等技术往往作为辅助手段使用。 1）同源建模法。对于给定的氨基酸序列，检索相同蛋白质家族中已知结构的模板，然后做MSA分析，很相同的部分保留模板结构，不相似的部分再根据能量方程（根据物理学知识，势能越低结构越稳定）修改。 2）穿线法。已知的蛋白质结构约十万个，不同结构拓扑的仅有1393个，很少有找不到相同结构拓扑的。在已知序列的各个拓扑结构中，使用能量方程，对给定氨基酸序列选取最低最稳定的拓扑结构当模板。 3）从头计算法，如果前两种做出来的结构都很差，找不到能用的模板，就可以根据蛋白质的三维结构决定于自身的氨基酸序列，并且处于最低自由能状态的原则，直接计算最低自由能的结构。 4）综合法。把给定的氨基酸序列分成一个一个的片段，每个片段使用上面三种方案中最好的方案，然后再拼回来。对于这些传统的计算方法，由于需要在计算能量方程等内容时使用各种近似和假设来降低计算量，所以虽然之前结果还能看，但是Alphafold一代出来之后，就被黑盒的魔法打败了。所以，接下来我们看一下AlphaFold一代：

AlphaFold1中，输入是MSAfeature ，这个MSA里拿出来的特征是使用生物学家的传统算法得到的。神经网络的输出是氨基酸两两间的距离；这个神经网络的输出很好理解，因为三维结构里每个原子的坐标是可以随意旋转和平移的，但是无论如何平移旋转，任意两个氨基酸直接的距离是确定的。（AlphaFold1的源码我读的别人pytorch写的相似的而不是原始论文的代码，此段大家看个意思和大概就行，不要当做完全正确的，想要一步理解的读完大意之后可以自己去调研细节）神经网络预测出来两两氨基酸之间的距离，而我们最终需要的是氨基酸内部所有原子的距离，因此需要上采样到backbone主链原子间的距离。然后拿到backbone原子距离之后，再喂给能量方程的程序包去补足侧链上原子的距离，然后反复迭代优化势能函数去计算出每个原子的坐标。
我们可以看到， AlphaFold1中，并不是endtoend去训练的，喂进来的输入，是传统算法得到的MSA特征值，预测的输出是两两残基间的距离而非最终的三维坐标，运算过程中大量使用生物学家提供的计算程序包。即使如此，在CASP13中，仍然领先其他模型很多，开启了AI进军生物大分子界的序幕。后来， CASP14里的AlphaFold2 ，则采用的完整的endtoend训练，使用了Transformer ，比赛结束后DeepMind给出了如下的概念图，但是一直没用公布细节：

可以看到， AlphaFold2里使用目标氨基酸序列、MSA、模板作为输入，直接endtoend的预测了目标的三维结构，使用了Transformer进行预训练。在等待AlphaFold2公布论文细节的过程中，若干使用Transformer在氨基酸序列上进行预训练的工作被开展，比如ESM ， MSATransformer等等，他们在氨基酸序列上，进行BERT、XL-NET、BART等等预训练任务，然后进行二级、三级结构预测、蛋白质性能预测等等任务的finetune 。他们往往报了无监督的二级结构预测结果，方法是在预训练后最后一层的attention分布上加一个线性层，使用几个蛋白质去训练这个线性层，然后预测，本质上是fewshot 。其中，比较亮眼的一个工作是MSATransformer ，效果突出，在AlphaFold2开源之前，被认为是AlphaFold2里的MSA部分的一个很好猜测拟合，如图：