交互|华为 AR Engine 安装量已达到 11 亿次,接入应用超 2000 款( 二 )


AR Engine 可识别到水平和垂直平面(地面或墙面)上的成群特征点,并可识别到平面的边界,您的应用可使用这些平面来放置您需要的虚拟物体。

  • 图像跟踪
    识别和跟踪 2D 图像的位置和姿态。
    AR Engine 提供图像识别与跟踪的能力,检测场景中是否存在用户提供的图像,识别之后输出图像的姿态。
    通过图像识别与跟踪功能,您可实现基于现实世界场景中图像(海报或封面等)的增强现实。您可提供一组参考图像,当这些图像出现在终端设备的相机视野范围内时,AR Engine 可为您的 AR 应用实时跟踪图像,丰富场景理解及交互体验。
  • 环境 Mesh
    实时计算并输出当前画面中的环境 Mesh 数据,可用于处理虚实遮挡等应用场景。
    AR Engine 提供实时输出环境 Mesh 能力,输出内容包括终端设备在空间中的位姿,当前相机视角下的三维网格,目前拥有后置深度摄像头的机型支持,且支持的扫描环境为静态场景。
    通过环境 Mesh 能力,您可将虚拟物体放置在任意可重建的曲面上,而不再受限于水平面和垂直面。同时您可利用重建的环境 Mesh 实现虚实遮挡和碰撞检测,使得虚拟角色能够准确的知道当前所在的周围三维空间情况,帮助您实现更好的沉浸式 AR 体验。
  • 平面语义
    识别平面语义(例如桌面、地板、门等)。
    AR Engine 可识别当前平面的语义,目前可以识别桌面、地板、墙壁、座位、天花板、门、窗户、床。
  • 3D 云识别
    识别和跟踪 3D 物体的位置和姿态。
    AR Engine 检测场景中是否存在用户在云侧配置的 3D 物体,当这些物体出现在终端设备的相机视野范围内时,云侧实时返回识别结果至终端设备,实现基于现实世界场景中 3D 物体的增强现实。
  • 目标语义
    识别物体的标签及形状。
    AR Engine 可识别物体的标签和形状,目前可以识别桌子、椅子,支持识别的形状包含立方体、圆形、矩形。
  • 2D 云识别
    识别和跟踪云端 2D 图像的数据。
    AR Engine 检测场景中是否存在用户在云侧配置的 2D 图像,当这些图像出现在终端设备的相机视野范围内时,云侧实时返回识别结果至终端设备,实现基于现实世界场景中 2D 图像的交互。
人体和人脸跟踪跟踪人脸、人体、手势等实时信息,以辅助您的应用实现用户与虚拟物体交互的能力。
  • 手势识别
    识别特定的手势和特定的动作。
    AR Engine 提供多种特定手势的识别,输出识别到的手势类别结果并给出手掌检测框屏幕坐标,左手和右手均可支持。当图像中出现多只手时,只反馈单手(最清晰且置信度最高)识别结果和坐标信息。支持前后置相机切换。
    通过手势识别能力,可将虚拟物体叠加到人的手部位置,并根据不同的手势变化来激活某些状态的切换,这可给您的 AR 应用提供基础的交互功能并增加新的玩法。