学者|五大顶级学者的AlphaFold 2论道:破译结构、开源代码后的产研「大变局」(下篇)( 四 )


黄昆(主持人):如果想实现复现训练,Alpha fold2的35万高质性回炉准样序列,以及MSA和template准备训练集,千万元量级算力,会不会是一个很高的门槛?
许东:这肯定是一个大工程问题。
把模型训练到极致需要一个很强大的团队,DeepMind这篇文章,第一作者就将近20人。他们的人力并非小实验室,或一般学术实验室能够比拟。
而且他们在算力和数据等各方面,也要比一般学术实验室强很多。不仅是Alpha fold2,各种大工程问题都需要大研究所或大公司。
所以我觉得,Alphafold2的问题现在已经做到一定量级,小实验室不应该想着如何在数据打败他们,更应该寻找新创新点。
而且并非Alphafold2后,就没有事情可做,也并非大家都要和Alpha fold在算力和大数据方面死磕。
张阳:我再列举一个具体案例。我们许多人都已经知道AlphFold2的算法,拿到了源代码,但大家如果真复现它的成绩,往往会面临很严重算力问题。
Alphafold2用了128个顶级GPU,并行训练了7天,才达到这个模拟精度,但大多数实验室都没有这样的算力,甚至很多实验室一个GPU都没有。
如果全部在一个GPU训练Alpha fold2就需要1000天,而且还是在已知答案前提下,不包括很多试错、调参、测试时间。
模型开发真正耗费算力就是反复试错和不断探索过程,这个过程往往需要单个训练几百到上千倍的时间,相当于在黑暗当中探索。
所以对Alphafold2这样成绩的复现,将是一个巨大的算力考验。任何一家学术实验室都很难完成这样的大规模数据训练、测试,所以在硬件要求上门槛很高。
黄昆(主持人):AlphaFold2用来预测Loop区域有多大的可信度?
张阳:单独来讲,Loop区域本身并没有很稳定的结构,它的构型依赖于与周边结构的相互作用。
所以,Loop结构预测精度很大程度依赖于,其它有规则二级机构区域模型的精度,其中就包括Loop两端距离是否适合等因素。
目前,AlphaFold2的loop精度应该比其它算法精度高一些,但这是因为它们在有规则二级机构的核心区域预测精度比较高。当把中心骨架结构都预测好之后,再把Loop搭起来,精度就会比较好一些。
黄昆(主持人):请问各位专家团队后续有什么样的计划?是否会继续提升现有模型的蛋白质预测精度?还是会借助AlphaFold2在其他方向做突破?
许东:我过去做了十几年蛋白质结构核心开发,从2012年开始,我就集中在深度学习在生物信息学中应用。
我们后续的计划主要有三方面:
【 学者|五大顶级学者的AlphaFold 2论道:破译结构、开源代码后的产研「大变局」(下篇)】第一,蛋白相互作用,例如蛋白对接,怎么利用深度学习选择更好的对接结构,相关文章目前已经出来,后面还要用更好的方式把蛋白相互作用预测出来。
第二,免疫和疫苗设计,这些方面有很大意义,我们在做单细胞数据的时候,能看到抗原决定部位上不同氨基酸,也能看到抗原上不同多肽序列在结构上怎么去发挥作用。怎么设计更好的疫苗,将是我们接下来的工作。
第三,用医学方法来提取动力学信息,更好表示出分子动力学的不同模式。
除了蛋白结构相关,我们还会做机器学习在单细胞数据应用,例如,受体与配体相互作用,在单细胞层面或空间层面,通过结构方式理解单细胞数据。
张阳:我们目前主要是想做和蛋白质结构相关的两件事:
第一,把深度学习推广到蛋白-蛋白复合体结构预测,这个问题比单链蛋白质结构预测更复杂,从功能注解来讲也更重要。
第二,把深度学习和结构生物学技术相结合,建立一种大标度利用低精度实验数据,快速确定高精度蛋白结构的计算方法。