什么?单块GPU也能训练大模型了?还是20系就能拿下的那种???没开玩笑|单块gpu也能训练百亿参数大模型?( 三 )

文章图片
这不 , 几个月后 , 已经安排好了~
背后团队:LAMB优化器作者尤洋领衔
看到这里 , 是不是觉得Colossal-AI确实值得标星关注一发?
实际上 , 这一国产项目背后的研发团队来头不小 。
领衔者 , 正是LAMB优化器的提出者尤洋 。

文章图片
他曾以第一名的成绩保送清华计算机系硕士研究生 , 后赴加州大学伯克利分校攻读CS博士学位 。
拿过IPDPS/ICPP最佳论文、ACM/IEEEGeorgeMichaelHPCFellowship、福布斯30岁以下精英(亚洲2021)、IEEE-CS超算杰出新人奖、UC伯克利EECSLotfiA.Zadeh优秀毕业生奖 。
在谷歌实习期间 , 凭借LAMB方法 , 尤洋曾打破BERT预训练世界纪录 。
据英伟达官方GitHub显示 , LAMB比Adam优化器快出整整72倍 。 微软的DeepSpeed也采用了LAMB方法 。
2021年 , 尤洋回国创办潞晨科技——一家主营业务为分布式软件系统、大规模人工智能平台以及企业级云计算解决方案的AI初创公司 。
团队的核心成员均来自美国加州大学伯克利分校、哈佛大学、斯坦福大学、芝加哥大学、清华大学、北京大学、新加坡国立大学、新加坡南洋理工大学等国内外知名高校;拥有GoogleBrain、IBM、Intel、Microsoft、NVIDIA等知名厂商工作经历 。
公司成立即获得创新工场、真格基金等多家顶尖VC机构种子轮投资 。

文章图片
潞晨CSOProf.JamesDemmel为加州大学伯克利分校杰出教授、ACM/IEEEFellow , 同时还是美国科学院、工程院、艺术与科学院三院院士 。
传送门:https://github.com/hpcaitech/ColossalAI

文章图片
责任编辑:上方文Q文章纠错
话题标签:RTX3090开源国产
- 浮甘瓜于清泉,沉朱李于寒水”描述的是什么场面 蚂蚁庄园今日答案6月28日
- 为什么科学家表示人类“灭绝”的可能性极低?这些理由你赞同吗?
- 为什么科学家知道太阳的原理,却无法制造出人造太阳
- 是恶作剧还是新物种?喜马拉雅山出现的“雪人”,到底是什么?
- 为什么科学家用昆虫翅膀的起源质疑进化论?达尔文到底是对是错?
- 为什么夜空是黑的?你以为的“正常”,或许隐藏着不知道的秘密
- 为什么温度高到一定程度的物体,就会发光?
- 宇宙大爆炸与理解生命起源和进化有什么关联?
- 为什么现在很少有人提及“克隆技术”了?“克隆技术”有何缺点?
- 小米科技|雷军晒小米12 Ultra的随手拍!可惜手挡住了,什么都看不清
