交互|华为 AR Engine 安装量已达到 11 亿次,接入应用超 2000 款( 二 )
AR Engine 可识别到水平和垂直平面(地面或墙面)上的成群特征点,并可识别到平面的边界,您的应用可使用这些平面来放置您需要的虚拟物体。
- 图像跟踪
识别和跟踪 2D 图像的位置和姿态。
AR Engine 提供图像识别与跟踪的能力,检测场景中是否存在用户提供的图像,识别之后输出图像的姿态。
通过图像识别与跟踪功能,您可实现基于现实世界场景中图像(海报或封面等)的增强现实。您可提供一组参考图像,当这些图像出现在终端设备的相机视野范围内时,AR Engine 可为您的 AR 应用实时跟踪图像,丰富场景理解及交互体验。
- 环境 Mesh
实时计算并输出当前画面中的环境 Mesh 数据,可用于处理虚实遮挡等应用场景。
AR Engine 提供实时输出环境 Mesh 能力,输出内容包括终端设备在空间中的位姿,当前相机视角下的三维网格,目前拥有后置深度摄像头的机型支持,且支持的扫描环境为静态场景。
通过环境 Mesh 能力,您可将虚拟物体放置在任意可重建的曲面上,而不再受限于水平面和垂直面。同时您可利用重建的环境 Mesh 实现虚实遮挡和碰撞检测,使得虚拟角色能够准确的知道当前所在的周围三维空间情况,帮助您实现更好的沉浸式 AR 体验。
- 平面语义
识别平面语义(例如桌面、地板、门等)。
AR Engine 可识别当前平面的语义,目前可以识别桌面、地板、墙壁、座位、天花板、门、窗户、床。
- 3D 云识别
识别和跟踪 3D 物体的位置和姿态。
AR Engine 检测场景中是否存在用户在云侧配置的 3D 物体,当这些物体出现在终端设备的相机视野范围内时,云侧实时返回识别结果至终端设备,实现基于现实世界场景中 3D 物体的增强现实。
- 目标语义
识别物体的标签及形状。
AR Engine 可识别物体的标签和形状,目前可以识别桌子、椅子,支持识别的形状包含立方体、圆形、矩形。
- 2D 云识别
识别和跟踪云端 2D 图像的数据。
AR Engine 检测场景中是否存在用户在云侧配置的 2D 图像,当这些图像出现在终端设备的相机视野范围内时,云侧实时返回识别结果至终端设备,实现基于现实世界场景中 2D 图像的交互。
- 手势识别
识别特定的手势和特定的动作。
AR Engine 提供多种特定手势的识别,输出识别到的手势类别结果并给出手掌检测框屏幕坐标,左手和右手均可支持。当图像中出现多只手时,只反馈单手(最清晰且置信度最高)识别结果和坐标信息。支持前后置相机切换。
通过手势识别能力,可将虚拟物体叠加到人的手部位置,并根据不同的手势变化来激活某些状态的切换,这可给您的 AR 应用提供基础的交互功能并增加新的玩法。
- 手部骨骼跟踪
识别和跟踪 21 个手部关节点的位置和姿态,形成手部骨骼模型,并可分辨左右手。
AR Engine 提供单手关节点和骨骼识别能力,输出手指端点、手部骨骼等手部高级特征。当图像中出现多只手时,只反馈单手(最清晰且置信度最高)识别结果和坐标信息。目前仅 Mate 20 Pro、Mate 20 RS 前置深度摄像头支持。
通过手部骨骼识别能力,您可将虚拟物体叠加到更为精确的手部位置,例如手指尖、手掌心等;利用手部骨骼,可驱动虚拟手做出更为丰富和精细的动作,这可给您的 AR 应用提供增强的交互功能和难以置信的新奇玩法。推荐阅读
- 掏心窝|放弃iPhone13,入手华为P50 Pocket后的60天,说几点掏心窝的话
- 手机|苹果玩的是什么把戏,华为市场份额减少,反而iPhone13价格下调了
- excel|对比测试11代酷睿的华为旗舰笔电后,发现M1被神话了?
- 技术|华为手机将出新款手机,假如没有受到限制,结果不敢想象
- 黑马|华为跌出国内前五后,“国产黑马”没让人失望,第一确实有点厉害
- 苹果|手机市场再次洗牌,华为跌至第六,苹果被荣耀超越,第一名很低调
- 华为p50pocket|仅售8988元,华为重磅旗舰现货开卖不加价,曾经首销秒售罄
- 投稿|下架、停产旧车型惹众怒,华为和欧拉究竟图什么?
- 充电站|华为充电站汽车分时充电专利公布
- 液态|华为P60Pro渲染图:麒麟9000L+四曲面屏,死磕iPhone13毫不手软