完美抠图王冰冰！字节实习生开发的AI，实现4K60帧视频实时抠图

鱼羊明敏发自凹非寺
量子位报道 | 公众号 QbitAI
看这一头蓬松的秀发，加上帅气的动作，你以为是在绿幕前拍大片？

文章插图
No、No、No
这其实是AI拿来视频实时抠图后的效果。
没想到吧，实时视频抠图，现在能精细到每一根发丝。

文章插图
换到alpha通道再看一眼，不用多说，德芙打钱吧（手动狗头）。

文章插图
这就是来自字节跳动实习生小哥的最新研究：实时高分辨率视频抠图大法。
无需任何辅助输入，把视频丢给这个名为RVM的AI，它分分钟就能帮你把人像高精度抠出，将背景替换成可以任意二次加工的绿幕。

文章插图
不信有这么丝滑？我们用线上Demo亲自尝试了一波。

文章插图
相比之下，现在在线会议软件里的抠图，一旦头发遮住脸，人就会消失……

文章插图
头发丝更是明显糊了。

文章插图
难怪看得网友直言：
不敢想象你们把这只AI塞进手机里的样子。

文章插图
目前，这篇论文已经入选WACV 2022。
你也可以上手一试目前，RVM已经在GitHub上开源，并给出了两种试玩途径：

文章插图
于是我们也赶紧上手试了试。
先来看看效果：

文章插图
首先来点难度低的。
对于这种人物在画面中基本不移动的情况，RVM可以说是表现的非常好，和人工抠图几乎无差别。
现在，王冰冰进入动森都毫不违和了。

文章插图
于是开脑洞，也变得简单了许多……

文章插图
咳咳，言归正传。人物动作幅度加大会怎样呢？

文章插图
对于多人舞蹈视频而言，RVM的表现也很nice。
即便动来动去、头发乱甩，也没有影响它的抠图效果。
只有在人物出现遮挡的情况下，才会出现瑕疵。
对比前辈方法MODNet，确实有不小的进步。

文章插图
不过我们也发现，如果视频的背景较暗，就会影响RVM的发挥。
比如在这种背景光线昏暗的情况下，抠图的效果就非常不尽人意了。

文章插图
可以看到，博主老哥的头发完全糊了。
而且身体的边界线也不够清晰。

文章插图
所以，如果你想自己拍视频试玩，就一定要选择光线充足的场景。
利用时间信息那么这样的“魔法”，具体又是如何实现的？
照例，我们先来扒一扒论文~

文章插图
实际上，有关视频抠图的算法如今已不鲜见，其中大多数采用的是将视频中的每一帧作为独立图像来实现抠图的方法。
不同与此，在这篇论文中，研究人员构建了一个循环架构，利用上了视频的时间信息，在时间一致性和抠图质量上取得了明显改进。