分散式云存储技术| Cess多层网络架构详解

区块链以其独特的分布式算法和底层技术,使得链上的数据实现不同区块链的分布式存储。cess(Cumulus Encrypted Storage System)分散式云存储网络基础设施让我们看到了分散式云存储的未来。专做链游开发,感兴趣的可以看头像联系
分散式云存储技术| Cess多层网络架构详解
文章图片

CESS innovation为区块链行业提供了有效可行的数据云存储技术方案,完善了Web3的基础设施建设。CESS提供安全、高性能、无限制的云数据存储服务,以适应去中心化场景下的数据云存储和使用。同时可以满足个人和企业的数据存储和共享需求,支持高安全性、高性能的大型企业存储需求。
在文章CESS:分布式数据存储的未来中,我们分析了CESS数据的多种技术优势,如共享协议、多副本可恢复存储证明(PoDR)和多类型数据认证机制(MDRC)。CESS以其技术创新,既满足了区块链背景下的数据云存储需求,又保证了数据的安全性和隐私性,从而将数据的所有权还给用户,用实践验证了区块链去中心化的本质。
今天从技术实现的角度,我们来看看CESS是如何设计其多层网络架构,以适应链和链的数据存储需求的。CESS的多层网络架构包括四层:区块链服务层、分布式存储资源层、分布式内容分发层和应用层。
区块链服务层/共识层
作为底层架构,区块链服务层是处理所有交易和合同的区块链网络,包括智能合同、共识算法、存储证明、资源管理、P2P协议、支付和激励等功能。
承担区块链资源管理者的职能是CESS单独构建公有链系统的唯一原因。CESS是云存储的基础设施。块包括交易、存储证书等。,以及全网存储空间的记录和存储内容的元数据。完成CESS块打包任务的节点除了基本任务外,还需要根据供需等因素合理分配全网的存储资源。需要通过上行链路根据存储资源部署节点。不同于现在的Arweave数据上行,CESS首创了存储资源上行的新模式,通过分散的节点实现了集中云的管理效率。
CESS区块链共识机制在CESS:分散数据存储的未来中介绍。CESS采用创新的随机选择旋转一致节点机制(RS)来实现块打包和其他链上事务。在这个机制中,链条中的共识节点是通过轮换来完成的,也就是说,它们会随着时间的推移而发生变化。同时,这个轮换是随机选择的。简而言之,CESS中一定数量的轮换节点将在一个时间窗口内负责共识的维护,通过选择的随机性可以保证去中心化的程度。
CESS创新设计随机选择旋转共识节点机制(RS),解决了“矿工困境”中大节点的垄断问题,在去中心化框架下大大提高了效率,实现了链上的事务处理。所有想成为共识节点的用户都可以自由加入候选节点,但在每个时间窗内(比如每10000个区块),只选择11个正式轮换节点参与区块。而没有参与区块选择的候选节点,也可以通过参与数据预处理过程来证明自己的工作能力,从而参与下一轮的正式轮换节点选择。在这个过程中,网络会对每个节点的信誉进行评分,当节点在工作过程中的行为有损网络整体利益时,其分值就会降低。当得分低于某个基线时,该节点将无法竞争候选节点。
但当节点因邪恶节点的出现或网络的要求而被迫下线时,网络会从候选节点中随机选择节点进行弥补,直至完成本轮时间窗的值班。因此,作为共识节点挖掘者,即使作为候选节点,也需要保持对网络的持续贡献,这在很大程度上保证了资源的充分利用。
如果一个节点被恶意攻击,或者部分数据丢失或损坏,CESS通过多副本存储和数据恢复算法实现数据丢失,保证数据完整性、数据安全性和隐私性。即使出现任何单点故障,也不会影响在线存储服务,保证数据存在,随时可以访问。它在负载平衡和稳定性、性能和可扩展性方面都很先进。
CESS从存储公链的角度出发,采用RS机制,可以防止大矿商过度集中和垄断,从而更好地实现真正的去中心化存储。同时,通过随机选择11个轮换节点,很好地保持了一致性,提高了去中心化框架下的效率。上传存储的内容元数据的实现也保证了数据的真实性,降低了图像链上重复请求数据带来的高成本,方便其他调度器更高效地处理链上的数据。CESS不仅使节点参与的门槛公开透明,而且通过RS保证了网络共识和区块创建的高效率。
分布式存储资源层
存储层是用于存储用户上传的文件、数据等信息的网络,由存储矿工和缓存矿工共同贡献。存储矿工可以通过提交存储证书来提供有效的存储空间,并获得奖励。针对目前分散存储无法提供弹性、可扩展的云存储能力的问题,CESS storage network通过虚拟化技术将存储资源进行池化,形成类似于“分散云存储池”的云存储服务模式,为用户提供按需购买,屏蔽底层硬件差异化带来的不稳定性。
“池化”体现在将所有存储资源视为一个整体的存储资源池而不是单个的矿工,用户上传的数据会随机分配给符合存储条件的存储矿工。“池化”技术有效利用闲置资源,使利用效率最大化。
CESS在网络中设置调度服务,将存储用户的数据智能分发到全局节点,最大化有效利用存储空间,实现智能云空间管理。
用户上传数据时,共识节点会先对数据进行加密(可信执行环境加密)、分片和冗余(去中心化代理重加密机制),处理后的数据会根据用户的数据存储需求选择符合条件的挖掘器进行存储。这里值得注意的是,CESS并不是选择一个或几个矿工来完成存储任务,而是将切片后的数据段随机分配给符合要求的矿工。这也是上述防止大矿商垄断伤害分权的体现。
让我们看一下为什么CESS也能最大限度地提高存储资源的利用率。在现有的存储网络中,当接收到大规模的数据存储任务(例如5TB以上的数据)时,一些容量不足、设备有限的矿工无法实现整体存储,从而失去了贡献的机会。而CESS的碎片化存储,可以让2TB和3TB存储容量的矿工一起完成这个存储需求。真正做到所有资源充分利用,利用率最大化。
同时,这种模式也降低了存储设施的硬件门槛,对于家庭矿工或者个体矿工来说都非常友好。一方面,矿工只需要执行存储任务,无需“接单”、操作节点等复杂而专业的事项;另一方面也是因为矿工会随机接收数据段,并不取决于矿工本身的大小。
CESS针对现有存储证明不实用的问题,通过深度改进数据持有证明(PDP)算法,引入可信执行环境(TEE),创新性地设计了多副本可恢复存储证明机制(PoDR)。CESS多副本可恢复存储证明(PoDR)机制使数据更加安全,并确保数据完整性和可用性。PoDR在上次分析CESS的技术优势时已经详细介绍过了。CESS可以将处理后的数据发送给所有存储的矿工。在有效期内,矿工需要上报自己存储的数据,便于CESS系统确认数据是否损坏。重要的是,PoDR机制将组成单个文件(包括所有副本)的所有数据段作为一个整体进行计数和监控。一旦数据段被识别为损坏,CESS将自动生成新的数据段作为补充,并将其发送到新的storage miner,以确保副本的可恢复性。
分布式内容分发层
分布式内容分发层由搜索挖掘器和缓存挖掘器组成。该层网络起到传统云存储CDN(内容分发网络)的作用,可以提高网络中内容检索和热点信息分发的效率。这也是CESS能够提供大规模商业应用支持的原因之一。同时,CDN的去中心化技术的创新也是去中心化云存储的重要体现。
首先不得不提一下去中心化云存储的痛点——对于去中心化存储网络来说,最大的问题之一不是存储本身,而是“数据上传”。所以对于我们存储矿工来说,高昂的网络成本来源于用户需要的数据上传需求。直接的结果是,很多矿工在存储数据后通过存储证书来保证数据的连续性,但他们拒绝以高昂的成本将数据上传给用户,导致存储网络不可用。
不仅是去中心化的存储网络,传统的云也无法承受用户直接从云数据中心检索数据所带来的高瞬时并发和流量,这是CDN存在的必需品之一。
分散式云存储技术| Cess多层网络架构详解
文章图片

应用层
应用层作为离用户最近、最直接的网络结构,包含了构建在CESS之上的各种应用,并不局限于Web2和Web3。从开发者的角度,我们来分析一下拥有安全高效底层的CESS在应用层给开发者和用户带来了哪些创新的应用体验。
CESS的开发采用了Substrate开源框架,作为波卡的底层,继承了其多链、跨链的特性,使得CESS在与Web3项目的交互和兼容上具有天然的优势。与此同时,CESS不仅支持WASM,还将在未来兼容EVM。因此,对于新兴的博卡生态和EVM生态的开发应用具有很高的适应性和便利性。开发者和开发团队可以用熟悉的语言和方法在CESS开发原生应用,大大降低了开发者的入门成本,帮助开发者在CESS生态扩张初期实现快速成长。从开发者工具来看,CESS将为应用开发者提供API等模块化开发工具和服务,方便开发者利用网络数据存储、分发、智能合约、隐私保护、数据确认等功能开发应用。
同时,CESS可以支持大规模商业应用,也是业界首个支持原生设计大规模商业应用的去中心化存储协议。对于能够处理大规模数据,实现安全高效的技术实现,我们在存储资源层和内容分发层做了深入的解读。凭借保障数据安全、降低矿商带宽成本、防止集中垄断、便于链条上数据第三方调度的技术优势,CESS在去中心化的框架下实现了最大可能的效率。
【分散式云存储技术| Cess多层网络架构详解】摘要
随着Web3时代的到来,越来越多的应用和场景将会出现,去中心化的云存储将会成为企业、开发团队和用户的刚性需求。CESS预见性的发现了云存储在当前去中心化场景下的不足。从自身的多层网络架构出发,不考虑共识层使用随机选择的旋转共识节点机制(RS)实现分块打包等链式交易;或者使用多副本可恢复存储证书(PoDR)保证了数据的完整性和安全性,提高了矿工空间的利用率,提高了数据存储的效率等。还是CESS在加密、存储证明、解密等环节创新加入可信执行环境TEE技术,保证数据安全,保护数据隐私;CESS带着技术带来了区块链云存储的建设方案,向去中心化云存储的未来迈出了坚实的一步。

    推荐阅读