WWDC22 多媒体特性汇总音视频

M2 芯片

M2 芯片采用增强的第二代 5 纳米制程技术并封装了超过 200 亿个晶体管，相比 M1 多 25%；
支持 100GB/s 的统一内存带宽，相比 M1 提升 50%，最高支持 24GB 的 LPDD5 内存；
CPU 架构沿用 8 核心架构（4 个性能核心 + 4 个能效核心），相比 M1 性能提升 18%；
GPU 支持 10 核心，相同功耗下整体图形性能比 M1 提升 25%，最大功耗水平下相比 M1 性能提升最高可达 35%；
搭载新一代神经网络引擎，每秒可以处理 15.8 万亿次操作，相比 M1 提升 40%；
搭载新一代媒体处理引擎，支持 8K H.264、HEVC 编解码；配备 ProRes 视频处理引擎；支持多路 4K 和 8K 视频的解码播放；

文章图片

Macbook Air
最新发布的 Macbook Air 搭载最新的 M2 芯片，支持 1080p 摄像头采集。至此已有 7 款 Mac 设备支持 1080p 视频采集，除了这次发布的 MBA，其余 6 款分别是 2021 款 14 英寸 MBP、2021 款 16 英寸 MBP、2021 款24英寸2端口iMac、2021 款 24 英寸 4 端口 iMac、27 英寸 iMac、iMac Pro。
性能方面，在 Photoshop 中使用滤镜和图像特效时，比上一代搭载 M1 的 Macbook Air 提升 20%。

文章图片

使用 final cut pro 编辑视频时其性能表现比上一代搭载 M1 的 Macbook Air 提升 38%。

文章图片

Macbook Pro 13 英寸
最新发布的 13 英寸 Macbook Pro 搭载最新的 M2 芯片，支持 720p 摄像头采集。
性能方面，ProRes 视频转码速度相比上一代提升 3 倍；使用 affinity photo 处理图像时，相比于上一代性能提升 39%。

文章图片

Baldur's Gate III 游戏性能比上一代提升 39%。

文章图片

macOS Continuity Camera
Continuity camera 特性支持以无线连接的方式将 iPhone 作为 Mac 设备的视频采集摄像头，从而可在 Mac 上使用 iPhone 相机的特性如人像模式、背景虚化、多摄像头采集、人像居中等；除了 Facetime，第三方软件也可使用 continuity camera，如 zoom、teams、Webex。该特性也支持将 iPhone 作为 Mac 的音频输入设备。
有了 continuity camera，今后 Mac 上外接采集将更加灵活易用，给 Mac 上音视频多路采集提供了更多可能性。

文章图片

ScreenCaptureKit ScreenCaptureKit 是在 macOS 12.3 推出的 Mac 端屏幕采集框架，可进行高性能、精细化控制的屏幕采集。本期 WWDC 着重介绍了 ScreenCaptureKit 的功能特性：
支持可定制化的屏幕内容采集，支持全屏幕采集，支持添加或删除屏幕内容中指定的一个或多个窗口，支持单个窗口内容的采集。
支持同时采集应用的视频和音频。
支持采集参数的设置，包括输出分辨率、采集区域、颜色格式、像素格式、光标显示、帧率、缓存队列大小，采集参数支持动态设置。
采集帧缓存在 GPU 中从而减少内存拷贝。
基于硬件加速的采集、缩放、像素和颜色格式转换，有效降低屏幕采集 CPU 消耗，整体性能表现优异。
在 OBS 上使用 CGWindowListCeateImage API 采集与使用 ScreenCaptureKit 采集做对比：相同场景下 CGWindowListCeateImage API 采集帧率为 7fps，而 ScreenCaptureKit 可达到 60fps；使用 ScreenCaptureKit 采集内存下降 15%，CPU 消耗下降 50%。
iOS 空间音频
【WWDC22 多媒体特性汇总】iOS 14 开始支持空间音频技术，该技术通过定向音频滤波以及对用户双耳接收到的声音频率进行细微的调整，在 AirPods Pro 的听感上实现了对传统环绕声音响的模拟。这种模拟并不仅仅停留在实现环绕声上，而是将用户手中的 iOS 设备模拟为空间当中固定位置的一套音箱设备。
现在 iOS 16 中，可以利用手机的原深感摄像头创建个性化的空间音频档案，从而实现更加准确而沉浸式的个性化听觉体验。
Metal 3
Metal 3 在上一版基础上做了很多性能优化，引入了不少重要的新特性和 API，下面我们逐一介绍其主要特性。
新特性

MetalFX Upscaling

GPU 渲染时先渲染较低分辨率的帧，然后利用 MetalFX 框架执行抗锯齿并上采样到目标分辨率，相比于直接渲染目标分辨率的同样场景的帧可节省整体渲染时长。MetalFX 提供两种 upscale 方式：Temporal antialiased upscaling 和 Spatial upscaling。

文章图片

Fast Resource Loading

为了减少 GPU 资源加载时间，Metal 3 新增了快速资源加载 API，它提供了从存储设备到 GPU 的更直接的路径，最大限度地减少了资源加载的等待时间，这样 GPU 就可以更高速的访问纹理和缓冲区。
通常为了优化资源加载时长，先加载一个低质量的资源素材，直到高质量资源加载完毕。

文章图片

Metal 3 新增的快速资源 API 提供更快更一致的性能表现，提升了资源加载速度，从而把更多时间留给高质量资源的绘制。

文章图片

Offline Shader Compilation
shader 编译往往需要在运行时完成，运行时编译可能对性能产生影响，从而导致帧率下降、加载时间延长，影响用户体验；Metal 3 支持离线 shader 编译，可以在项目构建时生成 shader 的二进制文件，这样可以减少加载时间。

文章图片

Mesh Shaders

渲染管线中用新的 object 和 mesh shaders 取代原先的 vertex shaders，从而支持更加灵活的遮挡剔除和 LOD 选择。

光线追踪优化

Metal 3 优化了光线追踪，显著节省 CPU 和 GPU 耗时：

提升了 acceleration structure 构建速度
将一部分运算从 CPU 移到 GPU 从而减少了 CPU 开销
通过直接访问图元数据优化相交和着色运算

文章图片

机器学习硬件加速

Metal 3 做了大量优化支持机器学习的硬件加速

文章图片

支持的机型

文章图片

HLS HLS Content Steering
HLS Content Steering 是苹果公司为了提高全球性流媒体服务的可用性而提出的 HLS 内容转向（Content Steering）机制。借助 HLS 内容转向机制，内容提供商可以通过部署内容转向服务器与所有的 HLS 客户端建立侧通道。在使用流媒体服务期间，客户端会向内容转向服务器定期发出 Steering Manifest 请求，转向服务器将会针对当前的客户端的情况，向客户端发送一个转向清单即 CDN 服务的优先级，以此将最新的 CDN 策略应用到客户端上。
如今，HLS Content Steering 支持路径克隆功能。
该功能兼容 Content Stering 1.2。
通过该功能可在已有的 CDN 列表中添加新的 CDN 路径。
配置文件中添加新的 CDN 路径时无需填写完整 URI，只需填写服务器和参数字段支持灵活的 URI 替换规则。

HLS Interstitials
HLS interstitials 是苹果于 2021 年推出的旨在让广告内容的部署更加便捷的 HLS 规范，无论是在服务器端还是客户端，它不再需要依赖 SSAI 中的特殊标签。
本期 HLS interstitials 新增如下特性：
支持 CUE 属性配置，该属性可配置视频内容前广告、视频内容后广告、一次性中插广告。
支持 X-SNAP 属性，该属性可用来校准直播场景下广告插入时的时间偏移。
新增请求参数：

HLS_start_offset：获取广告已播时长。
HLS_primary_id：标识播放片段和广告以避免重复播放相同广告。

AVFoundation API 提供 AVPlayerInterstitialController 和 AVPlayerInterstitialEvent，用来支持客户端中插广告播放。
AVQT 2021 年苹果推出了高级视频质量工具 (AVQT) ，利用 AVFoundation 框架，AVQT 支持 SDR 和 HDR 域中的各种视频格式、编解码器、分辨率和帧速率，从而实现简单高效的工作流程——例如，无需解码为原始像素格式等。AVQT 使用 Metal ，将繁重的像素级计算下沉到 GPU 来实现高处理速度，通常用于分析超过实时视频帧速率的视频。凭借优秀的易用性和计算效率，AVQT 可以实现从视频目录中删除低质量视频，以免它们以其他方式影响应用程序中的用户。
今年 AVQT 带来如下更新：
支持生成基于 HTML 的可视化报告，可方便地标记问题，分享报告。
支持分析起止时间内视频片段的视频质量
扩展了对 YUV 格式的支持种类，可支持 20 种格式，包括 444、422、420、411、410，也支持 8-bit、10-bit、12-bit、16-bit 格式；支持对未经压缩的原生视频的分析；支持对苹果生态系统以外压缩解码的视频的分析。
支持 Linux 系统，从而可支持服务器端部署。

DriverKit DriiverKit 是一套用于开发设备驱动的框架。当前支持以下这些模块的驱动开发：Networking、Block Storage、Serial、Audio、USB、PCI、HID、SCSI Controllers、SCSI Periphersals。
这次 DriverKit 带来的更新主要包括：
AudioDriverKit 支持注册实时回调；可在每次发生 IO 操作时获取回调；回调可用于实时处理线程如信号处理等。
启用新的权限设置参数。
DriverKit 支持 iPad，USBDriverKit、PCIDriverKit 和 AudioDriverKit 可用于 iPadOS 16，搭载 M1 芯片的 iPad 可用。

EDR EDR（Extended Dynamic Range）是苹果推出的一种渲染技术，能够支持设备在屏幕上同时正确显示 SDR 和 HDR 内容，EDR 并不会直接将 HDR 区域变得更亮，而是识别到 HDR 内容后提高整体屏幕亮度的同时，降低非 HDR 区域的白点值，使得其看起来没有那么亮。
本次 WWDC，苹果再次通过几个主题演讲介绍了 EDR 原理；如何使用 CoreImage 库显示 EDR 视频图像；如何使用 AVFoundation 库解码 HDR 视频并使其支持 EDR 显示播放。
介绍了 EDR API 如下新增特性：
iOS 和 iPadOS 支持 EDR API。
12.9 英寸 iPad Pro 新增两个新特性：Reference 模式和 Sidecar 模式下支持 EDR 渲染（Sidecar 是苹果的一项技术，支持将 iPad 作为 Mac 的扩展屏）。
总结网易云信音视频通话2.0 SDK 已经支持 4K & 8K 超高分辨率并且在特定会议系统上使用，最新发布的 Macbook Air 和 Macbook Pro 13 如果配合使用 4K & 8K 的摄像头或者其他高清视频源，可以获得超高分辨率的绝佳体验。
网易云信音视频通话2.0 SDK 支持基于 GPU 的视频前处理框架，能最大限度发挥 GPU 运算能力并节省 CPU 消耗，以优异的性能表现带来卓越的视频前处理能力；今后 Metal 3 新特性将进一步发挥网易云信音视频通话2.0 SDK 的性能优势。
网易云信音视频通话 2.0 SDK PC 和 Mac 端现已支持视频双摄采集，充分满足用户在不同场景下的视频需求；Continuity Camera 的扩展性和灵活性将给网易云信音视频通话2.0 SDK 双摄功能在 Mac 端带来更多的应用场景和发挥空间。
网易云信音视频通话2.0 SDK 现已支持高性能的屏幕采集，支持仅采集需要的窗口和内容。ScreenCaptureKit为Mac 端新系统的屏幕采集带来更多可选的技术方案。
总体而言，本次 WWDC 在音视频多媒体方向的新特性给开发者带来更多想象空间，未来网易云信音视频通话2.0 SDK 在这些新特性的加持下也将如虎添翼。