2.2.1 全息通信

多媒体的下一步发展包括全息媒体与多感知通信，以获得更真实的体验。全息图是一种3D技术，它通过操纵射向物体的光线，然后使用记录设备捕获产生的干涉图案。随着构建和渲染全息图的技术逐步提高，全息应用正在成为现实。全息应用不仅包括全息图的再现，还涉及网络方面，特别是远程站点传输和流式传输全息数据的能力。

全息通信是下一代媒体技术，可以通过全息显示器呈现手势和面部表情。要显示的内容可以通过实时捕捉、传输和3D渲染技术获得。人们可以与接收到的全息数据进行交互，并根据需要修改接收到的视频。所有的这些信息都需要通过可靠的通信网络进行捕获和传输。

将全息通信与触觉网络应用相结合，允许用户“触摸”全息图，为远程业务提供了更便捷的应用。沉浸式全息空间既会将来自远处的人工制品投影到房间中，也会将本地用户投影到远处。技术人员可以在远程和难以到达的位置与项目的全息投影进行交互以进行远程故障排除和应用程序修复。培训和教育应用程序可以让学生做到与老师和其他学生远程互动，以便他们积极参与课堂活动。此外，沉浸式游戏和娱乐领域也将会有更好的体验感。全息技术也将不仅局限于娱乐，还可以应用到生活中的其他重要场景，如远程手术。

全息应用为了使全息显示作为实时服务的一部分，需要极高的数据传输速率，这是因为全息图由多个三维图像构成。所需的数据速率取决于全息图是如何构建的，以及需要同步显示的类型和图像数量。基于图像的方法生成人体大小的全息图，数据速率从几十Mbps至4.3Tbps不等。

全息应用在进行实时显示或实时交互的服务时，要求延迟达到亚毫秒级，以实现真正沉浸式的场景。在部分需要触觉信息传输的全息应用中，对时延的要求也将会达到亚毫秒级。在整个全息技术实现系统中，不同的传感器需要同步和协调交付。例如，从录制、传输到显示由多个部分组成，如一个地方的不同摄像机或多个地方的不同摄像机进行录制，经过不同的通信链路传输到目的地，通过多个设备进行显示。此时通信系统需要严格的同步，普通多媒体数据流的同步精度大概在毫秒级以确保数据包及时到达，而视觉、听觉、触觉信息的同步精度需要达到纳秒级。在全息图生成和接收的过程中存在大量的实时计算，采用压缩可以降低带宽需求，但是会影响延迟。因此需要在压缩程度、计算带宽和延迟之间有一个权衡。不同全息应用对安全性有不同的要求，如果要进行远程手术，那么应用程序的完整性和安全性至关重要，因为任何失误都会危及生命，协调多个协同流的安全性是一个额外的挑战。

对于终端来说，除了基带处理能力需要进一步提升，终端显示能力需要支持4K、8K视频播放，终端计算能力需要实现解码、渲染与AI功能。此外，在终端形态上，除了手持终端，头戴式、墙挂式终端等不同形态的终端都将会在不同的全息应用中发挥各自的优势。移动设备实现全息图，存在额外的GPU和电池寿命的限制，移动设备的GPU性能是普通个人计算机GPU的1/40，需要显著的改进才能满足全息图的服务需求。

图2.2 移动设备上的3D全息显示