声网&创幻 如何推动全息虚拟偶像成为新一代明星( 二 )


一场虚拟偶像的演出 , 现场画面和声音同等重要 。 在画面上 , 创幻采用了自研的数据结构化技术 , 在保证动作和表情精度不产生损失的同时 , 将数据压缩到原来5%的大小 , 从而实现数据的实时远程传输 。 而声音上 , 声网助力了创幻在所支持的多场虚拟偶像演出中 , 都做到了现场声音高品质、低延时的传输 。 “创幻落地的虚拟偶像演出活动中大都涉及到歌唱类的演出 , 所以对现场音频的质量要求很高 , 而声网的音频方案完美地解决了我们对声音方面的高标准需求 , 在音频数据传输抗网络波动能力、音质还原度、效果稳定性、方案经济性等多个维度的表现都十分出色 , 最终的演出呈现效果也给了我们很大的惊喜 。 ”创幻科技CEO陈坚表示 。
在创幻举办的虚拟偶像神乐七奈跨国演唱中 , 音频是从日本传回国内 , 传输过程中对稳定性、流畅性有着很高的要求 , 一旦出现有延时就会造成现场观众体验感差 , 而声网的音频解决方案为虚拟偶像跨国演出场景提供了有力支撑 , 并具备了以下优势:
·软件定义实时网SD-RTN?保障跨国传输稳定性
在虚拟偶像演出的场景中 , 会涉及到音频的跨国传输 , Vapollo神乐七奈线下演出 , 是演员在东京动捕棚进行动作表演 , 再将动作数据传输到创幻的VT服务器进行实时渲染 , 输出画面和声音 。
针对这种需要音频跨国的传输 , 声网Agora自建的软件定义实时网SD-RTN?覆盖了200+国家与地区 , 可做到全球端到端优质传输率>99% , 全球端到端网络延时小于400ms , 延时中位数76ms , 有效保障虚拟偶像演出声音的超低延时体验 。 同时针对弱网情况下的音视频互动 , 声网拥有一套抗弱网传输与抗丢包算法 , 结合网络探测(如延时估计、带宽估计、丢包估计等)、抗丢包技术(如ARQ、FEC等)、自适应jitterbuffer、网络拥塞控制策略等技术 , 保障80%丢包下语音通话流畅 , 为演出现场观众提供更高品质的实时音视频通话服务 。
声网&创幻 如何推动全息虚拟偶像成为新一代明星
文章图片
·SOLO?、NOVA?两大语音引擎提供卓越音质
不仅如此 , 对于虚拟偶像演出现场传输的音质问题 , 声网也有自研的AgoraSOLO?、NOVA?两大语音引擎 , 支持48kHz采样率的全频带采样 , 还原声音高保真度 , 音频MoS分高达4.7 , 可以提供高清流畅音质体验 。
在神乐七奈跨国演唱会中 , 是将远在东京动捕棚的动作及音频数据实时传送到国内 , 同步在广州及上海完成渲染 , 并推流到B站及日本的线上直播间 。 相当于通过远程技术 , 进行4路数据流推送 , 同时在4个地方完成实时演出 , 技术上有很大的挑战 。 “但在声音部分 , 我们与声网团队持续沟通 , 在专业指导下对音频数据传输方案进行了优化 , 最终通过创幻的数据结构化技术加声网音视频传输方案完美落地了此次活动 。 ”陈坚介绍 。
在声网的技术保障下 , 创幻已经连续4年服务于国内最大的二次元盛会-Bilibili的BML-VR演唱会及BW漫展 , 并持续制作、推出包含Bilibili冰火歌回(3D)在内的线上Live 。
虚拟偶像正成为下一代全民偶像
正因为实时音视频技术的进步和升级 , 赋予了虚拟数字人真实的人物性格 , 拥有与观众和用户互动的情感 , 也让在“真人偶像”人设不断塌房的情况下受到网友喜爱 , 独特的外形、完美的人设 , 经过精心打造的虚拟偶像正逐渐走进现实世界 。
从顶流洛天依到品牌自身的虚拟人 , 再到社交媒体上的各类虚拟主播 , 虚拟偶像们塑造人设、分享日常生活 , 也拓展出品牌代言、明星同台、直播、授权、线上线下演唱会、带货等方式 , 变现的想象空间巨大 。 相较于真人偶像的不确定性 , 虚拟偶像拥有颜值不倒、人设永远完美的优点 , 也正因此 , 虚拟人物受到粉丝和资本的偏爱 , 正在成为下一代的全民偶像 。