ZEGO 教程 | RTC + AI 视觉的最佳实践（移动端）人工智能前端rtc

【ZEGO 教程 | RTC + AI 视觉的最佳实践（移动端）】摘要：帮助开发者在音视频场景中快速获得 AI 视觉功能 —— 美颜、滤镜、背景抠图等。

文章图片

文｜即构 Native SDK 开发团队
Z世代作为社会新的消费主力，追求个性、热爱新奇事物，青睐与酷炫新奇的玩法、紧跟娱乐潮流。AI+音视频的结合，作为在音频和视频之外第三个场景玩法创新的支撑点，刚好迎合了潮流属性。
当前市场中难以找到AI视觉&音视频双能力稳定可靠的供应商，AI视觉与音视频各自的技术门槛令众多企业的技术综合能力，用户不得不对接更多的供应商，而这也让更贴合用户需求的一体化服务迟迟没有到来。
接入速度慢？
维护成本高？
响应不及时？
ZEGO 即构科技在今年6月推出了 AI 视觉产品“ZEGO Effects”，用稳定可靠的AI+音视频能力提供更便捷高效的一站式服务，解决行业痛点，基于基础的音视频服务，满足用户在音视频场景中对于美颜、滤镜、AI 特效等 AI 视觉功能的需求。
本篇文章我们将介绍如何使用 Zego 即构科技的 Express SDK 和 Effects SDK 产品，快速完成在移动端的音视频 + AI 场景的搭建。
一、概念介绍在正式开始介绍音视频+AI场景搭建实操之前，先简单介绍下Express SDK 和 Effects SDK 的基础概念。
1、Express SDK
Express SDK 是指 ZEGO 实时音视频 SDK，能够为开发者提供便捷接入、高清流畅、多平台互通、低延迟、高并发的音视频服务，可以实现一对多，多对多的实时音视频互动，秀场直播，视频会议等场景。
2、Effects SDK
Effects SDK 是指 ZEGO AI 视觉 SDK，提供多项智能图像渲染和算法能力，包括智能美颜、AR 特效、图像分割等，可广泛应用于娱乐直播、在线教育、拍照工具等多种场景。
充分满足泛娱乐场景下各类玩法，让企业快速获得 AI+ 音视频创新能力：

美颜 —— 智能美颜、基于精准的人脸关键点监测和 3D 模型的高级美颜、自然美妆；
AR 特效 —— ZEGO Effects 提供多种 AR 特效，支持 2D/3D 贴纸，脸部贴纸，对于复杂背景，光照变化及人物夸张姿态等有极强的鲁棒性；
智能分割 —— 通过精准分割改变画面背景，用户可需求实现视频、直播场景自由变换，再辅以多样背景素材，可以实现更多有趣玩法；
百变滤镜 —— 提供多种精美滤镜，包括清新、日系、柔美、森林、光效等不同主题，可以轻松变换图像风格。

AI 视觉在音视频代码中的实现逻辑下面我们将以 iOS，Android 端为切入点，带大家了解一下 Express SDK + Effects SDK 整个实现过程。
1、初始化 Effects SDK
初始化 Effects SDK 主要是完成对象的创建和资源的设置。
objective-c 代码实现如下:

... // 设置资源 [ZegoEffects setModels:@[faceDetectionModelPath, segmentationModelPath]]; [ZegoEffects setResources:@[pendantBundlePath， whitenBundlePath]]; // 创建 effects 实例 ZegoEffects *effects = [ZegoEffects create:@license]; // 保存 effects 实例 self.effects = effects; // 初始化effects 对象 [self.effects initEnv:CGSizeMake(width, height)];

java代码实现如下:

... // 设置资源 ZegoEffects.setModels(aiModeInfos); ZegoEffects.setResources(aiResources); // 创建 effects 实例 ZegoEffects effects = ZegoEffects.create(license, getApplication()); // 初始化effects 对象 effects.initEnv(width, height);

2、初始化 Express SDK
初始化 Express SDK 主要完成视频帧数据格式的设置，启动自定义前处理功能以及注册回调对象。这里需要注意的是，不同平台下所用的视频帧格式有所不同。

平台	视频帧数据格式
iOS	ZegoVideoBufferTypeCVPixelBuffer
Android	GL_TEXTURE_2D

objective-c 代码实现如下:

// 创建 express 实例 [ZegoExpressEngine createEngineWithAppID:appID appSign:appSign isTestEnv:YES scenario:ZegoScenarioGeneral eventHandler:self]; // 选择 CVPixelBuffer 类型视频帧数据 ZegoCustomVideoProcessConfig *processConfig = [[ZegoCustomVideoProcessConfig alloc] init]; processConfig.bufferType = ZegoVideoBufferTypeCVPixelBuffer; // 开启自定义前处理 [[ZegoExpressEngine sharedEngine] enableCustomVideoProcessing:YES config:processConfig channel:ZegoPublishChannelMain]; // 设置视频前处理回调对象 [[ZegoExpressEngine sharedEngine] setCustomVideoProcessHandler:self];

java 代码实现如下:

// 创建 express 实例 engine = ZegoExpressEngine.createEngine(appID, appSign, true, ZegoScenario.GENERAL, getApplication(), null); // 选择 GL_TEXTURE_2D 类型视频帧数据 ZegoCustomVideoProcessConfig config = new ZegoCustomVideoProcessConfig(); config.bufferType = ZegoVideoBufferType.GL_TEXTURE_2D; // 开启自定义前处理 engine.enableCustomVideoProcessing(true, config, ZegoPublishChannel.MAIN); //设置视频前处理回调对象 engine.setCustomVideoProcessHandler(myHandler);

3、 Express SDK + Effects SDK 的实现逻辑
Express SDK 提供的自定义视频前处理能与 Effects SDK 完美结合起来。自定义视频前处理功能无需开发者管理设备输入源，开发者只需在 Express SDK 提供的采集回调函数中对原始数据进行操作，再把数据传回给 Express SDK 即可。而 Effects SDK 在这个过程中负责对原始数据的处理。
objective-c 代码实现如下:

- (void)onCapturedUnprocessedCVPixelBuffer:(CVPixelBufferRef)buffer timestamp:(CMTime)timestamp channel:(ZegoPublishChannel)channel { ... // 把Express SDK采集的数据传给Effects SDK进行处理 [self.effects processImageBuffer:buffer]; // 把Effects SDK处理后数据抛回给Express SDK [[ZegoExpressEngine sharedEngine] sendCustomVideoProcessedCVPixelBuffer:output timestamp:timestamp channel:channel]; ... }

java 代码实现如下:

public void onCapturedUnprocessedTextureData(int textureID, int width, int height, long referenceTimeMillisecond, ZegoPublishChannel channel) { ZegoEffectsVideoFrameParam param = new ZegoEffectsVideoFrameParam(); param.format = ZegoEffectsVideoFrameFormat.BGRA32; param.width = width; param.height = height; // 把Express SDK采集的数据传给Effects SDK进行处理 int processedTextureID = effects.processTexture(textureID, param); // 把Effects SDK处理后数据抛回给Express SDK express.sendCustomVideoProcessedTextureData(processedTextureID, width, height, referenceTimeMillisecond); }

4、AI视觉效果调整
Effects_SDK 还提供了美颜，美型，背景分割，人脸检测，挂件，滤镜等功能，广泛应用于娱乐直播，在线教育，拍照工具等多个场景，开发者可根据需要调用相应的接口。
objective-c 代码实现如下:

// 开启美白功能 [self.effects enableWhiten:YES]; // 设置美白强度，范围 [0, 100]，默认为 50 ZegoEffectsWhitenParam *param = [[ZegoEffectsWhitenParam alloc] init]; param.intensity = 100; [self.effects setWhitenParam:param];

java 代码实现如下:

// 开启美白功能 effects.enableWhiten(true); // 设置美白强度，范围 [0, 100]，默认为 50 ZegoEffectsWhitenParam param = new ZegoEffectsWhitenParam(); param.intensity = 100; effects.setWhitenParam(param);

总结以上就是关于在移动端通过使用 Express SDK 和 Effects_SDK 搭建音视频+Al 的解读。
ZEGO Effects 作为一款 AI 视觉产品，提供了多项智能图像渲染和算法能力，包括智能美颜、人像检测、图像分割等，被广泛应用于娱乐直播、在线教育、拍照工具等多种场景。
这是 AI 能力与音视频的有机结合，我们也期待在将来可以实现更多音视频与 AI 的创新应用。