摄像头|一个普通摄像头就让二次元老婆“活”过来网友：求收费( 二 )

特别的是，这套名叫小K直播姬的视频动作捕捉技术，识别位点远超17个，仅上半身就有100多个，覆盖了面部、手部和双臂。
【摄像头|一个普通摄像头就让二次元老婆“活”过来网友：求收费】这也是“老婆们”能够活灵活现的关键所在。
要知道，此前许多vTuber直播时，都只有脖子以上可以活动，上半身像是被封印了一般。

文章图片

而当动捕技术能够捕捉的身体位点越多，可以呈现的效果也就越丰富。
比如借助小K直播姬，vTuber就可以随意扭动身体、摆出各种动作，面部表情也多了很多细节。

文章图片

而最令人惊叹的手部动作的实现，则有赖于深度信息的引入。之前的卷积神经网络（CNN）学习的关节点只有2D信息，无法使用到3D虚拟形象上，但是小K直播姬自研的AI算法能捕捉3D信息并应用的3D虚拟直播里。
比如“石头”握拳这个动作，在普通摄像头“眼中”，手部位点会出现遮挡、重叠，这时只用2D关键点识别是很难还原真实动作的。

文章图片

具体而言，小K直播姬的解决方案，是根据摄像头捕捉到的2D图像，来估计每个关节点到镜头之间的距离。
掌握了3D深度信息后，即便摄像头只能拍到手部侧面，想要还原动作也不成问题。
尤其是双臂前后交换这种动作，2D识别很可能无法识别前后的差别，但是3D识别就能让画面呈现明显的立体感。

文章图片

目前，这种技术已经能做到每秒输出30帧画面。
其实它还能开放到每秒60帧，只是考虑到vTuber一般在直播时还需要开启其他软件，主播的电脑可能会承受不住，所以当下推荐大家开30帧。

文章图片

看到这里，是不是已经被惊艳到了？
然鹅，这还不是最厉害的。
其实，不只是上半身的动作捕捉，全身动捕现在都能仅靠摄像头完成。

文章图片

没错，仍旧不需要佩戴任何穿戴设备，只需多个普通的RGB摄像头，就能将真人的全身动作完全还原。
人人都可试玩的那种
效果丝滑自然、只需一台电脑+普通摄像头，还是免费的……这确实让人看了很难不心动。
也难怪小K直播姬一登场，惹得网友们直呼：
赶紧收钱，求求了。

文章图片

要知道，传统的光学动捕、惯性动捕，由于对传感器设备、专业摄影棚等方面的需求，成本始终居高不下。
以今年火出圈的A-SOUL为例，它由字节跳动和乐华联合推出，传闻称其所使用的动捕设备成本高达8位数。
而小K直播姬这个免费产品，直接实现了“人人皆可vTuber” 。
这不，在小K直播姬公测后，不少人都来一探究竟，公测10日后虚拟主播注册数就已经破万。
在这里不仅可以自己捏人，还能导入模型，B站上许多人都晒出了自己的vTuber形象。

摄像头|一个普通摄像头就让二次元老婆“活”过来 网友：求收费( 二 )

摄像头|一个普通摄像头就让二次元老婆“活”过来网友：求收费( 二 )