焱融|焱融 YRCloudFile 跨云多源数据管理，直击自动驾驶 “割裂式存储”痛点
汽车产业作为国民经济支柱产业之一，其在国民经济战略性支柱产业的地位是不可撼动的。在《“十四五”交通领域科技创新规划》中也提出，到 2025 年实现关键技术研发应用取得新突破，科技创新能力全面增强，创新环境明显优化三大总体目标。其中，明确了在运输服务领域，自动驾驶、智能航运、机场智能运行管控等技术在部分场景得到示范应用。
可见，智能化技术正悄然走进人们生活，自动驾驶也逐渐从 L1-L2 阶段，开始向 L3-L4 级别发展，众多整车厂和自动化驾驶算法系统开发厂商正在积极探索，力求占领行业第一位，拿到自动驾驶这把汽车未来市场宝藏的钥匙。
当前，在整体汽车自动化驾驶行业中，核心竞争力已经从车辆硬件转向自动驾驶决策“AI 大脑”。AI 训练只有在不断迭代更新的过程中，才能逐渐增长“见多识广”的能力，做出准确的判断。其中，提升 AI 自动驾驶算法迭代能力，可谓是各家厂商竞争对抗的关键能力。
实际上，影响 AI 迭代的核心关键主要是，算法设计和海量的数据。
海量有特征的训练数据是让 AI 具备认识世界的重要环节，从路测数据采集到数据中心的数据预处理、特征数据管理、训练、数据归档等一系列过程都需要高效衔接运行，只要其中一个环节不通畅，或者效率低就会导致整体业务效率下降。因此，AI 算法的竞争背后是 AI 算法内的海量数据竞争，如何完善数据流管理成为了自动化驾驶迭代的关键。
【焱融|焱融 YRCloudFile 跨云多源数据管理，直击自动驾驶 “割裂式存储”痛点】
文章图片
自动化驾驶业务流程图
在自动驾驶的发展过程中，数据正向着更复杂的方向发展，总结近几年的数据模式，可以发现数据具备以下特征：
数据多样性
根据不同自动驾驶级别，数据产生的来源不同。数据类别不仅包括了汽车基础数据，还包括基础设施、交通数据、地理信息数据，以及车主的大量用户身份类数据、用户状态数据、行为类数据等。
数据规模大
自动驾驶车辆作为跨产业技术的融合载体，融合了来自汽车、道路、天气、用户、智能计算系统等多方面的海量数据，涉及数据类型多，需要统计分析的数据总量大。
数据非结构性
数据多样性决定了不同来源的数据格式不同，数据的非结构性和非标准性对数据聚合或拆分技术，以及权限管理和安全存储都带来了巨大的挑战。
数据流动性
大量自动驾驶数据在用户端、车端、云端等多场景的交互，使得数据的流动性增大。
以上是自动化驾驶行业的业务数据特点，为进一步说明这些已知的特征，我们将以一家全球无人驾驶科技公司的解决方案为例，帮助大家了解焱融科技是如何构建该公司 IT 基础平台支撑其业务发展。
割裂式存储难处理
该全球无人驾驶科技公司是一家专注于 L4 级别无人驾驶卡车技术研发与应用的人工智能企业，具备感知、定位、决策、控制等无人驾驶核心功能，能够实现货运卡车在干线物流场景和半封闭枢纽场景下的全无人驾驶。
在该公司的整体业务流程中，包含数据预处理、特征数据管理、训练、归档等多个环节，原始数据需要经过众多环节处理，才能成为业务要求的特征化数据。在使用 YRCloudFile 之前，该公司管理数据的方式是采用割裂式的方式，比如：
- 数据预处理，使用大容量存储
- 特征数据管理，使用高性能存储
- 训练阶段，使用高性能存储
- 归档阶段，使用大容量存储
焱融科技支持“跨云多源数据管理” 焱融科技充分了解到该公司全业务流程存储管理的痛点以后，根据自身在行业多年的 AI 自动化驾驶领域存储经验，提出了“混合云存储”解决方案。通过路测取回的原始数据作为共享母版的方式，搭建本地到云端的跨云架构方案，将原先数据流向“大容量存储-高性能存储-大容量存储”的拷贝方式，通过 YRCloudFile DataLoad 技术实现统一管理，按照业务发展需要按需流转，自动化管理，彻底摒弃传统人工或者脚本管理运维的原始方式。
YRCloudFile 通过将数据预处理、特征数据管理、训练、归档业务环节串联起来，达到了真正意义上的流管理方式，使得数据随业务在系统内部流动，单阶段性能比传统架构提升 7 倍左右，实现在数据预处理阶段，计算集群通过向低成本的对象存储读取数据进行业务开展，读取后通过文件层加速，实现后续工作。
文章图片
YRCloudFile 跨云多源整合业务流程图
在数据预处理阶段，原始数据经过低成本低性能的传统存储到达数据预处理计算集群，随着业务访问存储的并发量在不断上升，从几个到几十个，持续时长随业务变化，这就给存储带来了较大压力，因为每个数据预处理的带宽都比较大，而且是大文件和小文件混合模式，所以对于底层存储的性能是一个考验。
性能监测传统存储支撑性能最大约为3GB/s，数据预处理环节使存储性能问题成为业务发展的第一个短板，亟需解决。
在使用 YRCloudFile 作为文件层，向下对接对象层后，开启 YRCloudFile DataLoad 功能，同样在数据预处理环节中，性能监测反馈可满载运行 60 个数据预处理任务，20GB/s 的带宽量，前端计算带宽基本打满，此时相较于传统存储，采用 YRCloudFile DataLoad 后性能提升 7 倍左右。而大量素材是通过 YRCloudFile DataLoad 进行了多源整合和加速，并未改变原始数据的存储方式，从性能和成本、管理都得到了很好的平衡，关键实现了业务效率的极大提升。
文章图片
数据预处理业务并发对比图
另外，数据在进入预处理存储后，就开始了由 YRCloudFile 统一命名管理，实现了数据随业务发展流动，除了能让上文提到的数据预处理环节实现降本增效，还可以帮助后续环节中的多个业务环节利用 YRCloudFile DataLoad 技术功能来提升性能。
例如在生产环节，相比全量提取对比数据的办法，YRCloudFile 采用 DataLoad 技术，可以按需读取生产数据对比数据进行测试，从整体时效性上，具备秒级响应特征，对比传统全量拷贝方式，业务效率提升巨大。
在帮助客户实现业务数据多源整合的同时，YRCloudFile 还通过分层技术功能让客户落地了本地到云端的同步双活方案，达成了业务连续性的要求，并最大化降低 TCO。具体架构如下：
文章图片
YRCloudFile 分层双活业务架构
在本地算力端部署 YRCloudFile，满足业务加速要求的同时，向下开启对象接口，通过 YRCloudFile 全生命周期管理策略，按照周期管理将冷热数据分开，冷数据自动下刷至对象存储，热数据在 YRCloudFile 的文件层，保障性能稳定和平衡成本支出。在业务调取冷数据时，可以通过透明调取的方式，按照 YRCloudFile 统一命名空间管理。
在此基础上，YRCloudFile 对接云上对象存储，将按照数据生命周期管理的策略，把本地下刷至对象存储的数据同步上传到云上对象存储，实现本地和云端对象存储数据同步。如若业务需要读取冷数据时，YRCloudFile 会根据读取指令将优先读取本地存储目标数据和切片返回给业务端，采用云端不读取的方式，节约数据成本。当本地对象故障时，冷数据同步在云端，那么 YRCloudFile 会检测数据位置，读取云端数据和切片返回给计算。以此来整体保障业务连续性，避免因网络、站点等产生的故障问题。
通过 YRCloudFile DataLoad 技术和多级分层技术，该公司的存储成本直接下降 300% 且性能提升 500% 以上，实现在全业务流程中，数据存储的管理对于业务是完全透明的。这也意味着，无论数据如何变动，业务端都无需“操心”。包括归档以后，也是由 YRCloudFile 全生命周期统一管理，达到“跨云多源数据管理”能力。
该公司在采用高性能分布式文件存储 YRCloudFile 的方案后，打破了传统存储的壁垒，全面提升了数据整合能力，并在业务实际使用过程中，配合完善的运维能力，提升整体可维护使用能力，真正做到“最懂自动化驾驶业务的存储系统”。目前，焱融科技已经帮助该公司建立多个数据中心和跨云整体混合云平台，有效优化业务流程，提升整体业务效率。
