ARKit演示(增强现实电影制作)

本文概述

  • ARKit简介
  • 应用程序概念
  • 构建应用
  • 应用架构
  • 参考和鸣谢
AR和VR成为主流, 所有顶级大型高科技公司都在追求它们:苹果拥有ARKit, 谷歌拥有ARCore, 微软拥有自己的HoloLens(当然还有Unity)。随着少数应用程序受到公众的广泛关注, 增强现实应用程序开发已成为移动开发人员非常希望获得的技能。
在本文中, 我想演示一个简单但有意义的小应用程序, 它不仅具有旋转的多维数据集, 还可以提供更多的功能。谁仍然需要旋转立方体?让我们来制作矩阵。
ARKit简介 ARKit是一个Apple框架, 用于为iOS设备创建AR应用程序。可以使用多个渲染器:用于2D对象的SpriteKit, 用于3D的SceneKit和如果我们要实现自定义渲染器的Metal。
对于本演示, 我们将使用SceneKit渲染和放置完全渲染的3D对象(刀)。
ARKit演示(增强现实电影制作)

文章图片
从ARKit v2开始, ARKit支持五种类型的配置:
AROrientationTrackingConfiguration –仅要跟踪设备的方向时(例如, 对于星形星座应用程序)。使用此配置, 不会跟踪诸如脚步这样的物理运动, 并且不会影响场景上对象的位置或方向。
ARWorldTrackingConfiguration –这可能是AR最常用的配置, 因为它支持大多数人认为的增强现实。示例包括虚拟宠物或神奇宝贝狩猎应用程序。
ARFaceTrackingConfiguration – iPhone X当前仅支持此配置, 因为它需要TrueDepth相机(例如Face ID)。此配置跟踪面部特征及其相对于中性面部表情的相对偏移(例如, 用户可以在订购太阳镜之前尝试使用太阳镜的应用程序)。
ARImageTrackingConfiguration –如果你有一组标记, 并且想要显示动物跳出标记, 则此配置非常适合你。这些不一定是像卡片一样的标记, 而是任何2D图片。你可以将相机对准” 蒙娜丽莎” , 她会转过头告诉你一些事情。缺点是你必须事先说出图像标记的物理尺寸是多少。
ARObjectScanningConfiguration –此配置是ARImageTrackingConfiguration的3D版本。
在此演示中, 我们将在场景中添加刀和子弹, 我们希望有六个自由度, 因此合适的工具是ARWorldTrackingConfiguration。
应用程序概念 每个看过《黑客帝国》的人都可以回忆起Neo(Keanu Reeves)躲避子弹并将其停在空中的情况。我们的应用程序将帮助我们从实时摄像机供稿中重新创建此场景。因此, 我们可以创建展示新力量的自定义视频。
我们的应用程序将具有子弹和刀具的3D模型。由用户决定他们的电影中需要多少颗子弹或刀子。如果你想花一些时间并添加其他模型, 则该应用程序代码是开源的, 可以在GitHub(https://github.com/altaibayar/srcmini_ar_video_maker)上找到。虽然这不是完整的AR教程, 但如果你想进入iOS上的AR App开发, 则演示和源代码应该是宝贵的资源。
预期的用例场景如下:
  1. 让朋友装扮成Neo(对于应用程序的功能并非严格要求, 但在我们执行此操作时可能看起来还不错)。
  2. 让” Neo” 站在距离你约10米(30英尺)的位置。
  3. 启动应用程序并扫描接地层。
  4. 添加在” Neo” 飞行的子弹和刀具。
  5. 按住” 录制” 按钮以录制视频, 而” Neo” 执行一些很酷的动作来躲避或阻止子弹
  6. 释放录制按钮, 并将视频保存到你的媒体库。
构建应用 如前所述, 我们希望能够在记录所有360o场景的同时自由移动, 并让子弹头和刀头适当地跟踪摄像机的运动。
出于演示目的, 我们只有两种类型的虚拟对象:刀和shot弹枪子弹。
刀是详细的对象, 我将使用https://poly.google.com/view/3TnnfzKfHrq中的免费模型(感谢Andrew)。
不过, 弹枪子弹是简单的球形物体, 我们只需对其进行编码即可。我们将其制成金属色并发红, 以备不时之需。由于我们正在模拟a弹枪, 因此我们还将它们生成为分组集群。为了使聚类有意义而又没有太多麻烦, 我们可以使用GamplayKit中的高斯随机数生成器。
GameplayKit是一个有用的工具, 每当你需要随机噪声生成, 状态机, AI或基于概率的决策时, 便会派上用场。
override init() { super.init(); // generate 50 gaussian distributed position around [0, 0, 0] let positions = Randomness.gaussian(center: SCNVector3Zero, count: 50); for pos in positions { let node = SCNNode(geometry: sphereGeometry()); node.position =pos; self.addChildNode(node); } } private func sphereGeometry() -> SCNGeometry { // radius of one projectile sphere is 5mm/0.2inch let sphere = SCNSphere(radius: 0.005); // sphere is reddish sphere.firstMaterial?.diffuse.contents = UIColor.red; // reflection on light is gray/silver sphere.firstMaterial?.reflective.contents = UIColor.gray; // metalness is 0.3 sphere.firstMaterial?.metalness.contents = 0.3; // shading should be realistic sphere.firstMaterial?.lightingModel = .physicallyBased; return sphere; }

类似的随机偏移逻辑可以用于刀具, 但是由于它们的行为不像簇, 因此可以使用简单的随机分布。
应用架构 【ARKit演示(增强现实电影制作)】深入探讨哪种架构范例是最好的讨论超出了本演示的范围。那里有很多文章涉及该主题。
取而代之的是, 我将布局项目的结构, 以作为在链接的GitHub项目中寻找方法的指南:主要组件是什么, 它们如何连接以及为何选择它们。
该应用程序只有三个屏幕:
PermissionViewController –我们要求用户向应用程序授予对所需移动功能的访问权限的屏幕。
  • 相机–显然
  • 图库–保存录制的视频和麦克风输入
  • 麦克风–我用来创建视频的库需要许可(默认情况下, 来自麦克风的声音将用作音轨的来源)。
ExportViewController –此屏幕显示录制的视频, 并提供共享或保存视频的选项。
MainViewController –所有的魔术都发生在这里。
根据我的经验, 最好将所有必要的ARKit类包装起来, 例如ARSession, ARConfiguration和所有唯一类型的SCNNode。这样, 代码是不言自明的。
ARSession继承到srcminiARSession中, 并且新的会话类仅具有三种方法:用于设置所需所有内容的类构造函数以及resetTracking和pauseTracking方法。
该应用程序识别四种独特类型的SCNNodes:
  • KnifeNode –表示刀具3D对象, 并自动加载3D刀具作为其几何形状。
  • BulletsNode –此节点代表一组shot弹枪弹。自动设置随机的高斯噪声, 颜色和物理照明模式。
    使用KnifeNode或BulletsNode的类不需要任何特殊或额外的工作, 它们可以用作自定义应用程序以添加更多种类的3D对象的模板。
  • ReticleNode –包装3D模型, 该模型出现在地板上方的场景中, 以显示将在其中添加刀或子弹的位置。
  • DirectionalLightNode-这是一个表示向下的垂直光的节点。
参考和鸣谢 刀模:https://poly.google.com/view/3TnnfzKfHrq
从SCNScene录制:https://github.com/svtek/SceneKitVideoRecorder
按钮图标, ARKit演示应用程序:https://developer.apple.com/documentation/arkit/handling_3d_interaction_and_ui_controls_in_augmented_reality

    推荐阅读