vr|杜百川：5G和FTTR家庭XR业务

在2021 GFIC 5G全球家庭互联网大会的主论坛上，原广电总局副总工、国家信息化专家咨询委员会专家、国务院三网融合专家组专家杜百川发表题为《5G和FTTR家庭XR业务》的精彩演讲。
家庭大屏下一个热点是XR业务。扩展现实（XR）是虚拟现实（VR Virtual Reality）、增强现实（AR Augmented Reality）和混合现实（MR Mixed Reality）以及尚未开发的沉浸式技术的总称。——杜百川
ITU-R先进沉浸式感官媒体系统

文章插图

今年3月发布的“ITU-R先进沉浸式感官媒体系统”中增加了“感官媒体”描述，未来沉浸式技术场景不仅仅涉及听觉和视觉，还加上了触觉，所以便称为是感官媒体。
“高级沉浸式感官媒体系统（AISM）”允许用户通过高级沉浸式视听系统得到前所未有的临场感和沉浸式体验。其可以欺骗大脑感知系统，重建视听现实并允许用户自然地与虚拟场景交互。ITU-R已将“先进沉浸式感官媒体系统的广播节目制作、交换和展现”列入了建议（或报告计划），预计2023年完成。
AISM系统质量主要包括三个基本方面：高视觉质量、高音频质量、直接用户接口，可以提供沉浸式体验。

文章插图

举例而言，电视和AR的集成，通过AR设备将不同位置的电视表演者或家人和朋友进行三维组合显示。观众在看电视时可以感觉好像他们与电视表演者、家人和朋友共享同一个空间。使用 AR 眼镜，表演者或人物以实际尺寸显示，以提供增强的真实感。
“ITU-R BT.2123-0(2019.1) ”提供了用于广播节目制作和国际节目交换的高级沉浸式视听系统(AIAV)视频参数值。基于人眼的视力，以使观看者在观看360°图像的任一部分时不会感知图像的像素结构。全360°图像要求30K×15K的像素数。一个半球或360°图像的一部分可以用30K×15K的像素的一部分来表示。
在“ETSI TS 126 118 V16.2.1 (2021-05) ” 中的5G流媒体应用VR类内容生成指南指出，假设低分辨率区域以覆盖整个360度区域的2K分辨率即使用2048×1024或1920×960进行编码，针对不同帧率提供全覆盖的可编码高分辨率区域的最大百分比差异较大。通常视口(VP)覆盖完整360度全景视频的12-25%。

文章插图

【 vr|杜百川：5G和FTTR家庭XR业务】上述流程采用ISO/IEC 23090-2全向媒体格式(OMAF)包装，ISO/IEC 23008-1的MPEG媒体传送(MMT)和ISO/IEC 23009-1动态自适应流媒体(DASH)方式。
ETSI ARF-AR框架
AR应用格式(ARAF)和MAR参考模型(MAR-RM)：AR应用格式(ISO / IEC 23000-13 [i.2])侧重于提供增强现实展现而不是客户端或服务器过程的数据格式。ARAF指定用于表示AR内容的场景描述元素，连接到本地和远程传感器和执行器的机制，压缩媒体（图像、音频、视频、图形）集成机制，连接到诸如地图和压缩媒体的远程资源机制。MAR-RM(ISO/IEC 18039)定义了混合和增强现实的范围和关键概念，相关术语定义以及通用系统架构作为MAR应用、组件、系统、服务和规范的参考模型。
AR标记语言和WebXR设备API：OGC(Open Geographic Consortium)发布的ARML 2.0是基于XML的描述性数据格式，建立在通用对象模型之上，允许使用多种语言以系列化。WebXR设备API提供对通常与VR和AR硬件相关的输入和输出功能的访问。
AR-相关数据表达标准：文字、图片、视频、音频、2D图形对象、3D图形对象和场景、场景描述、传感器和执行器数据相关标准、地理数据相关标准。
通信协议标准、硬件API标准和用户接口规范。