苹果正在开发动态Apple Glass 音频和AR图像融合软件

像经常被传闻的苹果眼镜智能眼镜或增强现实或虚拟现实头显这样的项目，必须依靠为用户提供令人信服的视觉效果和足够的音频来实现完全的沉浸感。然而，这两种元素都提供了自己独特的问题，生产头戴式显示器的公司必须克服。对于音频来说，AR和智能眼镜的音频需求和VR的音频需求有天壤之别。前者可能希望音频有限，并且还能听到其他环境的声音，而VR的使用通常是依靠屏蔽外部声音，只留下虚拟世界的音频。目前的头戴式头显可以实现这一点，但那些内置音频系统的头戴式头显通常不能提供用户想要的灵活性。

在美国专利和商标局周二授予的一项名为 "具有多模态音频的显示设备 "的专利中，苹果描述了带有音频组件的头戴式视觉系统，该组件可以在头显的支撑结构上的不同位置之间转换。因此，苹果AR眼镜或VR头显可能包括一个可切换的音频系统，可以提供一系列不同的听觉模式，同时还加入了一个可以将现实世界的景象与虚拟图像平滑地高速融合的系统。苹果提出，音频系统可以在耳外模式和耳内模式之间切换，前者是将活动式头显系统的扬声器放在离耳朵一小段距离的地方使用，后者是将扬声器放在耳道内。在耳外模式下，系统将使外部声音能够被更清晰地听到，而第二个版本将更多地阻碍环境声音被用户听到。

在模式之间的切换，苹果建议在每个头显中使用一个驱动器，可以改变它通过不同端口投射声音的方式，以匹配两种不同的位置。这包括根据是否靠近耳朵来调整低音单元的功率水平，甚至是一个可切换的物理元件，可以改变声音的运动。声音产生模块将使用一个枢轴上的短臂，离枢轴最远的点包含用于放置在耳朵里的元件。根据它的枢轴方式，该装置要么通过一种方法将音频送入耳朵，要么使用另一种方法进行听外音，并自动进行改变。除了枢轴，苹果公司还表示，该音频元件可能还能够向耳朵倾斜和远离耳朵，以方便放置，并可能包括一个伸缩部分。

在第二项专利中，苹果试图解决AR头显如何在现实世界的视频源上呈现虚拟物体，并结合现实世界的摄像头数据和数字制作的版本为用户即时执行。由于这需要准确而快速地执行，这样的过程可能需要大量的计算资源来完成，以达到高标准。在名为 "结合真实和虚拟图像的方法和设备 "的专利中，苹果提出了一种系统可以用尽可能少的资源来计算混合后的虚拟图像的方法。

对于该系统，专利中提到了摄像头的进样可以为 "真实像素 "创建一系列的数值，而这些数值以 "虚拟像素 "的形式存在于其虚拟对应物中。每一个都有自己的像素值，用来进行计算，以确定应该使用什么最终像素值并显示给用户。两个像素值可以合并成一个值，这个值可以基于真实像素值和虚拟像素值之间的加权平均值。苹果公司估计，加权可以部分地根据真实或虚拟像素的alpha或透明度值来确定。确定真实像素的alpha值，可以通过对完整的相机图像进行下采样，根据相机图像创建一个模板，并根据下采样图像和模板生成一个消光参数矩阵。该消光参数图像可以进行上采样，进而可以创建两个像素值可以合并成一个值，这个alpha值也可以用来为一个特定的像素创建颜色组件像素值，使各个颜色能够混合，而不是整个像素值本身。通过使用该技术，人们认为将图像传输到显示屏所需的带宽可以 "少于 "单独由摄像头产生的数据的十分之一。

苹果每周都会提交大量的专利申请，但虽然专利的存在表明了该公司研发工作感兴趣的领域，但并不能保证这些概念会出现在未来的产品或服务中。