在过去的四十年内|下一代车载语音，为什么要实现音视觉融合？( 二 )

理想汽车实现了?载多音区交互。它采用四麦克风分布式阵列，可以实现4路人声分离和6路音区检测，完成全?多路拾音、人声定位、降噪、回声消除和语音唤醒。简单来说，它可以准确判断?内多个说话人的空间位置，更突出了理想ONE家庭座舱的定位。以长城汽车、吉利汽车、上汽为代表的我国自主品牌在体验上基本能达到第三阶段，但与新势力的实现路径不太一样，他们更多依靠国内领先的语音供应商，或投资成立为自己服务的数字化外部公司。上汽荣威RX5PLUS的车载语音由斑马网络提供，具体来说达摩院提供前端算法/唤醒；思必驰提供语音识别能力；科大讯?提供TTS音色。这款车拥有一套支持90s连续交互的全双工语音系统，体验并不输给新势力品牌车型。以奥迪、奔驰、宝马、凯迪拉克为代表的传统豪华品牌仍然停留在第一二阶段，大多依靠合作已久的老牌供应商，同时加入一些国内语音供应商的相关能力。 2020款奥迪A4L的语音系统由大众问问提供，同时搭载了纽昂斯和天猫精灵的相关能力。整体体验比其他豪华品牌要好，但远算不上第一梯队。纽昂斯和大众问问分别为这款车提供了一套ASR和NLU能力，两者算是并行关系，所以用户输入任何一个指令，这俩通道都要跑一遍，最后统一口径实行指令，所以整体体验比较慢。

说完车载语音，车内与视觉相关的功能其实落地的并不多。小鹏G3曾在XmartOS1.5版本中推出疲劳监测并预警的功能，原理是通过?内摄像头实时检测驾驶员在行?过程中的疲劳特征（如打呵欠、?时间闭眼），并及时通过生效和抖动作出预警。爱驰U5也有类似的功能，摄像头安装于A柱，当驾驶员打电话、打哈欠或者视线不在前方时，系统就会语音警示。

宝马的手势识别在2015年率先登陆宝马7系，可以通过摄像头识别完成音量调节、切歌等指令。识别率很高，但其实用性褒贬不一。长安UNI-T的功能相对丰富，可以实现视线亮屏、分级疲劳检测、多模唇语识别、驾驶员行为识别、智能情绪识别等功能。这一系列细分场景下的主动式AI功能由地平线提供，同时它还提供了?规级AI芯片「征程2」。综上，不难看出确实已经有不少产品实现了车载语音和视觉的相关功能，但体验参差不齐，相差悬殊，最重要的是语音和视觉没有从根本上融合，仍然是两条没有交叉环绕的并行线，还是单打独斗的状态。真正的音视觉融合可以通过多方位的感知，为用户提供形式更丰富的服务反馈。具体来说，车辆可以通过语音、视觉和相关车辆数据，感知当前的驾驶员/乘客状态以及具体场景，形成可预知的需求，再通过汽车的相关能力，主动为用户提供有价值的服务和信息。

比如当副驾驶接电话时，车载音乐主动降低音量；当用户不知道附近哪里可以买到苹果充电线时，车机主动呈现附近的直营店或便利店；当车内空气质量不佳时，主动通风并调整车内温度……这些功能非常细碎，可能用户不会每次开?时都用到，但当?厂能够有针对性的把用户的时间、场景切分地足够细，它所提供的功能足够智能时，这些主动式的AI能力会给用户带来你确实懂我的感受。下面再举几个畅想的案例，目前并没有被实际量产，仅供参考和娱乐。车厂可以通过「语音+视觉」的能力，主动给用户更好的小憩环境。当用户开启小憩功能后，座舱主动播放舒缓的催眠音乐，调整座椅模式和空调温度，并为用户定上闹钟。通过「视觉」功能，时刻观察用户的入眠状态，当用户进入浅睡眠后，自动降低音乐音量，快到闹钟时间，播放轻音乐，温柔引导用户迎接清醒。车厂也可以通过「语音+视觉」的能力，稳定宝宝情绪，缓解坐在后排安全座椅上的焦虑感。座舱可以通过语音和后排的小宝?聊天，调整宝宝的心情，播放合适的幼儿教育故事，引导宝宝思考。当未来可以在风挡上实现AR导航，用户可以通过「语音交互+视线追踪+AR导航」的形式，根据用户心情推荐周边信息。比如用户说：我想在附近停?；我想吃罗森家的冰皮蛋糕；哪儿的优衣库正在打折？这附近哪有快速洗?行？前?挡就会标注出哪栋大厦里有相应的店铺，还会语音反馈人均消费、是否有新款等信息。