模型|北大校友马里千:计算机视觉商用的下一个十年,AI 生成应占有一席之地( 二 )
一开始,马里千跟着实验室的一位博士师兄着手于RGB-D人体跟踪方面的研究。在拟定硕士研究课题时,他与博士师兄讨论,选择了行人重识别方向。他解释道:
“行人重识别这个课题的延展性特别好,‘进可攻、退可守’。往外拓展,你可以把识别拓展到跟踪问题上,包括单摄像头跟踪与跨摄像头跟踪,进而延伸到动作识别、轨迹分析、行为分析等等。退可守就是,你可以将问题简化为学习单纯的相似性度量,比如判别两张人像图片所显示的是不是同一个人。”
行人重识别的英文名为“Person Re-Identification”(缩写为“re-ID”),最早在这个方向上取得卓越成果的研究机构主要是伦敦玛丽女王大学和香港中文大学,而后引入国内。“Person”的意思是“人体”,而国内翻译成“行人”,是因为这项技术最初主要应用于监控与行人观测。
硕士期间,马里千在行人重识别上的研究处于较浅显的阶段,只能算刚刚入门。他原本也没有打算读博深造,而是计划硕士毕业就去工作,也拿到了知名互联网大厂的offer。但是,2015年去腾讯优图实验室实习的经历改变了他的想法。
当时,他在优图实验室担任研究实习生,主要负责调研多摄像头目标跟踪与行人重识别的相关前沿技术调研,以及评估室内ReID 算法的应用落地。在那里,马里千见识了各路大神,他们中绝大多数是博士毕业,对技术也有十分独到的见解。
相比之下,马里千觉得自己作为硕士生,对技术的理解还不够深入,还有很大的成长空间。于是,他决定申请出国读博,在一个领域潜心修炼,继续提升自己的功力。
2
博士:打开图像内容生成的大门
2016年4月份,马里千去鲁汶大学(KU Leuven)电子系攻读博士学位,师从 Luc Van Gool 教授。
马里千的导师Van Gool毕业于鲁汶大学,是欧洲计算机视觉研究领域的翘楚之一,功成名就后同时在苏黎世理工学院与鲁汶大学担任教授。Van Gool研究的范围十分广泛,与产业界也有密切的合作。圈内盛传Van Gool组“可能是全世界PhD工资最高的组”,马里千的PhD项目就由丰田Trace实验室资助。
与美国CV研究偏重应用方向相比,欧洲CV学派基础更为扎实,更注重“识别”的机制以及之后的决策与交互。从八十年代末兴起的几何三维重建理论就是起源于欧洲,在这一波浪潮中,马里千的导师Van Gool与学生Mark Pollefeys 等因提出模约束理论(modulus constraint), 解决了分层重建中的仿射重建问题而获得1998年的马尔奖,很自然地,马里千也沿着前辈们的方向进行了扩展性的探索。
图注:Luc Van Gool 教授
Trace实验室的主要研究方向为自动驾驶计算机视觉,因此,针对人体与场景的图像合成与理解也成为了马里千在博士阶段的两大研究方向。读博期间,马里千一共发表了8篇顶会论文,其中一作就占了6篇。
“读博期间,我就喜欢做自己想做的task(任务),这会让我感觉(这些任务)是自己的亲儿子一样。自己从头规划,定技术路线,到最后把它做出来。”马里千说。
刚进入实验室时,马里千做的是人体多目标跟踪与重识别。在做的过程中,他发现了一个问题:在不同场景下,模型的适应能力很差,“换一个场景,模型就废了。”
这时,实验室的师兄恰巧向他介绍了GAN这项技术,他觉得很新奇,就想:“为什么不自己生成一个数据集?这样就可以用仿真的方式解决数据标注成本高昂的问题。”
对GAN的兴趣驱使他转向了人体生成方向的研究。
在这个过程中,他注意到GAN,并希望利用 GAN 技术生成一个人的不同姿势,以此来帮助做人体识别的任务。深入研究后,他发现人体姿势变换也是一个很有意思的研究问题,便开始专注于研究人体姿势变换。
- 从几个月到几分钟,NLP模型运行效率暴涨,小公司也能玩大模型
- 腾讯文档|从事展览3d模型设计,你需要具备那些能力?---模大狮网
- 英伟达|NVIDIA Triton 推理引擎公开课上新:基于多实例 GPU 和 K8s 的大规模 CV 模型部署实践
- 肠道菌群|肠道菌群又有新“用途”:建立非酒精性脂肪肝发病预警模型
- aiXcoder XL智能编程大模型发布:自然语言一键生成方法级代码
- AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了
- 字节跳动 AI Lab 提出多模态模型:X-VLM,学习视觉和语言多粒度对齐
- 电子商务|虚拟化身动作不协调?Meta开源肌肉骨骼动力学模型MyoSuite
- 小米科技|小米汽车露真容:雷军迫不及待,先晒模型图,是一台SUV
- 百度APP数字人上线个性化AI陪聊功能 文心大模型助力对话交互式搜索创新
