问诊把脉“实景三维业务发展瓶颈在哪里”和“御医良方”
随着科技进步，社会中开始出现越来越多将实景应用投射到虚拟环境之中的现象，人类试图通过“平行宇宙”辅助现实生活。3D 全景地图就是一个很好的方式，让人们可以做到“身未动，心已远”，提前了解目的地实景情况，以便准确判断陌生环境目的地的正确性。诸如此类的应用已经越来越丰富，甚至连文物保护和修复都已经开始使用实景三维系统。
随着时光悄悄逝去，文物古迹正在风吹雨打中逐渐被泯灭，那么我们应该采用怎样的先进技术手段，在文物古迹受到保护的前提下，让文物实现更长时间地保存，成为人类未来宣传教育、历史见证的“永生物”？
为此，国家文物相关保护协会将希望寄予全息实景三维技术，该技术结合了实景三维和全息投影，实现让研究人员通过安全、可靠、精准的方式，获得大到庞大的古建筑群，小到精致的酒壶杯盏的数据，且不会对文物有任何的损坏。
近期，自然资源部正式印发了《实景三维中国建设技术大纲（2021版）》，其中提出的建设目标为：根据新时期测绘工作“两服务、两支撑”根本定位，调动各级自然资源主管部门和社会力量，构建“分布存储、逻辑集中、时序更新、共享应用”的实景三维中国，为数字中国建设提供统一的空间基底。可见，GIS 行业开始经历从二维到三维的全面升级，迎来关键上升期。
文章图片
浙江省某古建筑斗拱实景模型
未来数字世界建设的基础
实际上，实景三维（3D Real Scene）是通过多种技术手段，将现实世界的地理地貌全数据集的采集、分类、加工、展现于一体的技术流程。其旨在建造一个与现实无差别的虚拟世界，实现在任何空间都可以调取和应用的数据，其中业务流程可分为“外业”和“内业”两大部分。
“外业”作为数据采集的主要过程，应用了多种技术，包括卫星、航拍、车载等载体，搭载各种可见光影像设备进行摄影测量，并且形成连续数据集；“内业”则将通过“外业”采集回来的地理数据进行加工将 2D 图像数据转化成 3D 模型，以立体的方式展现地理地貌，并且按照国家坐标系重建一个与现实相同的 3D 图形。
“激光点云”“倾斜摄影”等技术的实现，都是将 2D 影像经过处理成为 3D 立体模型，按照统一坐标系形成真实的“虚拟世界”，与现实世界形成 1:1 镜像关系的结果。
文章图片
除了上述举例的应用以外，实景三维还大量用在国土资源管理、农林水利、资源矿产、城市规划服务、应急救灾等领域，可谓是现代社会建设的基础组件，成为“新基建”的一部分。
文章图片
实景三维在数据时代的技术瓶颈
实际上，整个实景三维业务流程中采用了多种技术，而数据处理作为实景三维业务过程中的关键步骤，如果没有这个环节，“外业”所有的成果都不能充分地展现，其重要性可见一斑。
当前，业内部分可分为三层讨论，由上而下分别是业务软件层、业务系统层和数据层。随着应用软件几十年的发展以后，如今应用软件已经非常成熟且强大。诸如 ContextCapture、Smart3D、Skyline 等等，基本可以实现相互通用。
接下来是业务系统层，主要是基于 X86 硬件平台的 Windows 或者 Linux 作为统一汇编语言。从当前的情形来看，国家正在推行国产操作系统，各大厂商也在积极适配，相信未来国产化必定是一个趋势。
最后一层是数据层，它是所有业务的“地基”，其中包含了 IT 的核心三大元件—计算、网络、存储。如果没有这三大法宝，所有目标将化为乌有，“数字孪生城市”就是一句空话。因为所有数据都将在数据层进行加工，是内业生产中真正数据的载体。
文章图片
实景三维建设技术路线图
目前，计算发展已经从 CPU 时代迈进 GPU 并发时代，在突飞猛进的算力带动下，网络需求也在暴增，背后的原因是数据依靠网络提供计算。如果网络跟不上算力，则容易会出现计算单元“空窗”的现象。故而，如今各个单位的数据中心都在升级业务网络。
虽然通过堆砌硬件的方法能迅速提升算力和网络的性能，但是随之而来是更加严峻的问题——如何让数据存储跟上业务发展的步伐，一旦存储出现了延后的现象，那么无论算力和网络再快都是无用之功。
存储是一个极其复杂的系统，不能像算力和网络一样，依靠堆砌硬件的方式解决问题。同时，因为每一份数据都是极其珍贵的，它们对存储容器的可靠性要求极其严格。一旦存储崩溃，轻则业务中断，延迟交付，重则数据丢失，项目失败。
在业务快速发展的压力下，实景三维所使用的存储从小容量、小并发的通用型存储，逐渐发展成为海量数据、高并发的专业型存储，也从支持十几台计算并发访问的规模，增长为支持几十到几百台计算的高并发存储，数据量也从几十 TB 增长到数百 TB 乃至 PB 级别。它们的差别就好比 U 盘和企业级存储机柜的区别。因此，存储正在成为整体实景三维内业极具代表性的发展瓶颈。
突破存储瓶颈，打通实景三维“最后一公里”
文章图片
实景三维整体业务架构
随着实景三维对于精细度要求越来越高，地理信息数据量逐渐变得越来越大。比如前文提到的文物古迹展现，8K 的效果几乎能给人一种与实物无差别的体验，但其中所产生的数据也是巨大的。因此，如果存储不能满足并发连接的需求，那么再多的图形工作站也是“巧妇难为无米之炊”。
为此，实景三维对于专业存储第一条要求就出现了，支持多计算单元的连接并发访问。
除此之外，实景三维在生产过程中，数据可靠性是硬性要求，前文提到“存储崩溃”是常见问题，不仅会让数据凭空消失，更会导致企业业务中断，造成巨大损失。例如为期一个月的任务，在运行三周后，临近项目尾声，存储系统突然崩溃，导致所有过程数据都要重新计算，就算再加班加点，在剩余的一周时间内也是无法完成既定任务，直接影响企业声誉，造成不可挽回的后果。
这时，实景三维对存储的第二条要求出现了，可靠性要高，避免出现存储单点问题。
实景三维业务中，大多数“原材料”都是图片，根据采集设备的不同等其他条件，图片的规格大小也不同。同时，在内业生产过程中，由于采用业务软件不同，如 ContextCapture 和 Skyline 运作机制不同，产生的碎片化文件数量也不同。因此，需要存储能够适应海量文件及碎文件管理功能。当前，通用存储在管理混合文件就比较困难，导致出现文件越多，性能就越差的情况。
因此，就出现了实景三维存储的第三条要求，适应混合文件管理能力。
随着实景三维融入社会生活的过程，各行各业都在使用实景三维的成果。目前可以发现，3D 地图、城市服务、能源规划建设等都是常用的工具，并且外业采集数据的速度，要大于内业处理数据的速度，内业效率低直接制约了外业效率。
于是，实景三维存储的第四条要求，存储具备高扩展性，性能和容量并行扩展。
以上四条基本概括了实景三维专业存储的刚性要求、细化分析，以及很多特性。根据上述特性要求，并结合以往的实景三维建设经验和技术积累，焱融科技给大家分享一些我们在过往合作中，如何满足企业上述要求。
YRCloudFile 作为泛 HPC 专业存储从产品设计之初就采用并行分布式架构，旨在为企业用户提供高性能产品，并结合应用特性提供文件接口，满足诸如 ContextCapture、Smart3D、Skyline 等应用软件的文件接口要求。目前，在已经落地部署的项目中，最小规模 YRCloudFile 集群可支持600台 GPU 服务器并发访问，是传统存储并发能力的 9倍。
文章图片
YRCloudFile 产品架构图
同时，在扩展存储集群规模后，存储的吞吐能力可以进一步提升。在类似的高性能项目中，仅仅数台 YRCloudFile 可以提供千万级别以上的 IOPS（IOPS 是存储性能衡量单位），百 GB的吞吐带宽。现如今，焱融 YRCloudFile 已经是实景三维行业存储领域的天花板性能级别。
其中，极致的性能正是源于焱融 YRCloudFile 存储的架构设计，其采用了元数据管理和数据分离方式，并且私有客户端的专利技术让实景三维计算单元和焱融 YRCloudFile 之间实现了数据流并行传输，是传统存储通过 NFS/CIFS 等网关通信方式无法比拟的性能，兼容系统包括了 Windows 和 Linux 主流版本，而且已经与 ContextCapture、Smart3D、Skyline 等国内外应用厂商做了深度技术对接。
此处给大家分享一个内部爆料：实际上，每家应用软件厂商在存储数据调度上差别很大，因此基本上需要针对版本进行优化对接，包括空三阶段的 “特征点提取”“平差” 等数据过程。同样，在建模阶段时，也需要针对性优化设计，例如焱融 YRCloudFile 对接 ContextCapture，使其空三整体效率提升 50% ，原需要 20 小时完成的任务，缩短至 10 个小时完成。故而焱融 YRCloudFile 称之为实景三维专业存储是实至名归，也是最了解实景三维业务的存储。
上面简要描述了焱融 YRCloudFile 在并发能力和扩展能力上的体现，接下来介绍可靠性和存储根本问题。
焱融 YRCloudFile 采用的分布式架构，实现元数据和数据全部冗余条带化分布，具备节点级别抗灾能力，保障业务连续性，即使一个存储节点故障也不影响数据完整性，让业务继续运行，保证如期交付任务。
结合焱融 YRCloudFile 的 SaaS 服务，可实现异地数据中心建设，真正意义上实现了混合云存储架构，做到数据云服务级别可靠性，彻底解决业务部门棘手的数据可靠性问题。另外，焱融 YRCloudFile 管理界面友好、操作简单、功能强大，简直是运维部门的福音。解放生产力，创造更多价值是焱融 YRCloudFile 追求目标。
除此之外，焱融 YRCloudFile 更核心的一个特征是混合文件管理能力。前文提到实景三维数据大多是混合大小的海量文件，焱融 YRCloudFile 已经落地的项目中，不乏百亿级别的海量文件应用，超几十亿级别的项目比比皆是，性能稳定如初。如此高的性能表现得益于焱融 YRCloudFile 产品的元数据管理和扩展能力强大。
跳出实景三维场景，在测绘领域的遥感 RS 等领域， ArcGIS、GXL 等应用软件，只要存储量大且对性能要求高，焱融 YRCloudFile 都是存储底层支持的最佳选择。
分享近期接触的一个案例，某国内一线实景三维应用厂商在使用焱融 YRCloudFile 搭建的移动集群，参与了夏天某地区水灾救灾工作。通过影像在短时间内对数据采集区域进行点云数据采集，并结合焱融 YRCloudFile 高性能存储建立起详尽准确地绘制灾情地图，并仿真模拟灾情影响，最终实现提供准确的定量分析。在此过程中，焱融 YRCloudFile 交付团队全程跟进，积极参与，为救灾做出贡献。
【问诊把脉“实景三维业务发展瓶颈在哪里”和“御医良方”】截至目前，焱融 YRCloudFile 已经参与建设众多高性能领域项目，为 GIS、RS、AI、生命科学、能源等领域提供坚实的存储支撑，通过不同的优化方法，帮助企业在生产过程中提升近 1 倍以上的能力，让空三、建模整体效率提升近 50%，整体工作排期压缩近一半时间，帮助大量国内客户提升生产效率，降低生产成本。
推荐阅读
- 野营记-第五章|野营记-第五章 讨伐梦魇兽
- 艾略特的交易法则“遵循自然规律”
- 闲杂“细雨”
- “成长”读书社群招募
- 上班后阅读开始变成一件奢侈的事
- “精神病患者”的角度问题
- 说的真好
- 2021-02-10（找不回的“年味”……）
- “不完美，才美”01（190410）
- 火锅