论坛 › 青海 › 简析去中心化存储项目MEMO与Filecoin的差异

5ep9lzv 发表于 2024-10-3 08:59:49

简析去中心化存储项目MEMO与Filecoin的差异

    <div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/91d4c235ea834c4297eccd46584bf7ab~noop.image?_iz=58558&amp;from=article.pc_detail&amp;lk3s=953192f4&amp;x-expires=1728092200&amp;x-signature=YNyDlm8EYehCPEzyaPsuxUxDTsg%3D" style="width: 50%; margin-bottom: 20px;"></div>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">Filecoin与MEMO(MEFS的存储协议）同属于去中心化存储赛道的项目，两者有<span style="color: black;">非常多</span>共通之处，<span style="color: black;">例如</span>系统设计的基本理念是相同的——都基于区块链实现存储共享经济，本身不依赖任何中心化服务器而是链接去中心化的节点来<span style="color: black;">供给</span>存储空间，且都<span style="color: black;">运用</span>了一系列加密技术、存储算法证明以及收益机制来<span style="color: black;">保准</span>系统的去中心化、对抗不信任及存储<span style="color: black;">需要</span>和存储服务的撮合交易。</span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">但两者之间<span style="color: black;">亦</span>存在<span style="color: black;">非常多</span><span style="color: black;">区别</span>之处，<span style="color: black;">例如</span>为实现存储共享功能而设计的系统架构、<span style="color: black;">秘码</span>学<span style="color: black;">方法</span>和经济模型都不尽相同，<span style="color: black;">详细</span>则<span style="color: black;">表现</span>在以下四个大的方面。</span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><strong style="color: blue;"><span style="color: black;"><span style="color: black;">1、</span>系统架构和收益机制<span style="color: black;">区别</span>，致使存储目的及对区块链的依赖程度<span style="color: black;">区别</span></span></strong></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">Filecoin：链上开销<span style="color: black;">很强</span></span></span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">Filecoin<span style="color: black;">重点</span>定位为IPFS的激励层，它<span style="color: black;">运用</span>封装空间<span style="color: black;">做为</span>算力出块，即封装了数据的存储<span style="color: black;">供给</span>者才有机会<span style="color: black;">得到</span>出块权，并且出块概率与其算力占比匹配。<span style="color: black;">因为</span>将出块与封装数据挂钩，<span style="color: black;">因此呢</span>大部分节点参与Filecoin的目的都是为了出块，而不是为了数据存储，这使得Filecoin封装了<span style="color: black;">海量</span>无效数据，让存储的目的性大大减弱。虽然理论上<span style="color: black;">每一个</span>存储<span style="color: black;">供给</span>者<span style="color: black;">能够</span>获取三种收益：出块收益、存储收益及检索收益，但<span style="color: black;">因为</span>无效数据的存储，使得<span style="color: black;">日前</span>存储<span style="color: black;">供给</span>者真正获取的收益仅<span style="color: black;">仅有</span>出块收益一种。</span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">另一</span>，在Filecoin系统设计里，系统由存储用户、存储<span style="color: black;">供给</span>者和检索者三方角色<span style="color: black;">构成</span>，但<span style="color: black;">由于</span>存储<span style="color: black;">供给</span>者<span style="color: black;">自己</span><span style="color: black;">亦</span>可承担检索功能，<span style="color: black;">因此呢</span>系统用户<span style="color: black;">实质</span>仅存储用户和存储<span style="color: black;">供给</span>者两方，而这种两方角色的设计让存储验证的实现变得困难，使得存储证明及验证都需在链上完成。</span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">MEMO：仅结算在链上完成，链上开销低</span></span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">MEMO<span style="color: black;">能够</span>链接任何图灵完备的公链，链接公链的目的是为了<span style="color: black;">安排</span>智能合约而进行交易结算，而其它功能都<span style="color: black;">能够</span>在链下实现。在MEMO存储的文件系统中，有存储<span style="color: black;">需要</span>者User、存储空间<span style="color: black;">供给</span>者Provider和中间管理者Keeper三方角色。User为存储和下载服务付费，Provider为User<span style="color: black;">供给</span>存储空间而获取空间出租收益，Keeper为User和Provider<span style="color: black;">供给</span>信息撮合、检索和中间协调管理工作。</span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">相较于Filecoin系统，MEMO的三方角色互相独立各司其职，Keeper角色是一个独特的设计，该角色<span style="color: black;">不可</span>由Provider角色兼任，<span style="color: black;">由于</span>该角色承担了重要的存储挑战及收集存储证明的工作，<span style="color: black;">详细</span>为Keeper<span style="color: black;">定时</span>对Provider发起挑战以验证<span style="color: black;">是不是</span>按约存储，该角色的设计<span style="color: black;">能够</span>让存储证明、验证等工作转移到链下，而不必过分依赖链上，这将在<span style="color: black;">保准</span>可信度的<span style="color: black;">同期</span>，有效<span style="color: black;">提高</span>系统处理能力。</span></span></p>
    <div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/0834a33b4ac243289c4d9a4e002ceb22~noop.image?_iz=58558&amp;from=article.pc_detail&amp;lk3s=953192f4&amp;x-expires=1728092200&amp;x-signature=Mcuha5odSgw93zRmxeFfegXOJUM%3D" style="width: 50%; margin-bottom: 20px;"></div>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><strong style="color: blue;"><span style="color: black;"><span style="color: black;">2、</span>存储证明机制<span style="color: black;">区别</span>，致使可用性及通信开销<span style="color: black;">区别</span></span></strong></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">Filecoin：复制证明机制耗时、通信开销大，使系统可用性降低</span></span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">存储证明是去中心化存储系统中最关键的技术，Filecoin提出了复制证明PoRep与时空证明 PoSt两种证明机制。复制证明即存储<span style="color: black;">供给</span>者证明将约定的数据存储在自己的节点中，加入时间要素后，<span style="color: black;">持续</span>生成的复制证明的集合即<span style="color: black;">作为</span>了时空证明，复制证明和时空证明用以证明在一段时间内指定的数<span style="color: black;">得到</span>了有效存储。</span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">复制证明生成过程<span style="color: black;">繁杂</span>，本质上是将数据进行编码的过程。存储节点上可用的存储空间，<span style="color: black;">叫作</span>为扇区。填充一个扇区后，系统需要将其封装，封装是一组将扇区<span style="color: black;">逐步</span>转换为原始数据<span style="color: black;">独一</span>副本的操作，该副本与 Filecoin 存储<span style="color: black;">供给</span>者的公钥<span style="color: black;">相关</span>。封装是一个高强度的计算过程，它会对扇区及原始存储数据进行计算并产生各自<span style="color: black;">独一</span>的标识码（哈希值），该哈希值使得任何人可<span style="color: black;">经过</span>检索的方式来检验副本，从而实现了可公开验证性。该标识码经过零知识证明压缩后提交到区块链，<span style="color: black;">就可</span><span style="color: black;">做为</span>存储<span style="color: black;">供给</span>者的存储证明。<span style="color: black;">仅有</span><span style="color: black;">持有</span><span style="color: black;">所有</span>原始数据的存储<span style="color: black;">供给</span>者，<span style="color: black;">才可</span>向Filecoin 区块链提交正确的 CommR （对副本的链上承诺）。</span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">因为</span>Filecoin将数据进行编码（哈希运算）后上传，<span style="color: black;">况且</span>该编码是一项<span style="color: black;">繁杂</span>的计算工作，不仅需消耗<span style="color: black;">海量</span>计算资源，<span style="color: black;">亦</span>非常耗时。<span style="color: black;">针对</span>Filecoin的最小扇区32GB扇区，在数据中心的高性能服务器上封装大约需要1小时<span style="color: black;">上下</span>。<span style="color: black;">一样</span>，数据存储后，用户<span style="color: black;">倘若</span>需要读取<span style="color: black;">亦</span>必须先对数据进行解封，解封的过程和密封的过程对等，其过程<span style="color: black;">亦</span>相当耗时，这使Filecoin的读取与下载性能低下，可用性降低。</span></span></p>
    <div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/12c2841d93894334a4e967f8abd6c978~noop.image?_iz=58558&amp;from=article.pc_detail&amp;lk3s=953192f4&amp;x-expires=1728092200&amp;x-signature=0o4Nk%2Fh37Oy7qFpIxPGtxaZ1Nlw%3D" style="width: 50%; margin-bottom: 20px;"></div>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">MEMO：存储证明与验证<span style="color: black;">有效</span>且通信开销小</span></span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">与Filecoin<span style="color: black;">区别</span>的是，MEMO系统的存储证明是在链下完成的，验证证明耗时在毫秒数级，但链下验证并不是MEMO系统实现快速验证的<span style="color: black;">原由</span>，而是因为采用了一种全新的基于BLS签名<span style="color: black;">办法</span>的数据持有性证明<span style="color: black;">方法</span>，该<span style="color: black;">方法</span>可公开审计，具备隐私性、批量审计性、完备性和<span style="color: black;">有效</span>性特点。</span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">当User提出存储申请并与Provider匹配成功后，<span style="color: black;">首要</span>会<span style="color: black;">按照</span>系统参数生成公钥和私钥，公钥交给Keeper进行存储，私钥自己<span style="color: black;">保留</span>在本地。在上传数据前，系统会将外包数据进行切片且对<span style="color: black;">每一个</span>切片进行编号，User会对<span style="color: black;">每一个</span>分片数据进行签名形成签名聚合，<span style="color: black;">同期</span>对<span style="color: black;">每一个</span>分片生成验证标签，<span style="color: black;">而后</span>将分片数据与标签发送给各个Provider。在每次验证数据时，Provider只需要指明分片验证编号，<span style="color: black;">例如</span>100-200号分片，Provider将对应分片与标签读取出来，并生成一个几百字节的证明，该存储证明可在几秒钟内生成，<span style="color: black;">经过</span>这几百字节的证明<span style="color: black;">就可</span>证明<span style="color: black;">所有</span>分片的正确存储，再结合概率抽查，<span style="color: black;">能够</span>实现用几百字节的证明来验证几十TB的数据。</span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">为了验证这些存储证明，Keeper<span style="color: black;">亦</span>会生成属于自己的可验证随机函数的密钥对，<span style="color: black;">经过</span>可验证函数对其进行计算生成挑战信息并将之发送给Providers以发起挑战。<span style="color: black;">因为</span>区块链的低可扩展性，这些验证<span style="color: black;">亦</span>是在链下完成，经过验证层共识验证结果，任何人都<span style="color: black;">能够</span><span style="color: black;">检测</span>结果的正确性。<span style="color: black;">另一</span>，系统<span style="color: black;">针对</span>多个数据块的挑战<span style="color: black;">实质</span>上是<span style="color: black;">能够</span>合并的。即在挑战时一次传输多个数据块的聚合挑战，而非这些数据块本身，<span style="color: black;">这般</span>能够大大减少通信开销。</span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><strong style="color: blue;"><span style="color: black;"><span style="color: black;">3、</span>容错机制及修复机制的<span style="color: black;">区别</span>，致使系统空间利用率及<span style="color: black;">靠谱</span>性<span style="color: black;">区别</span></span></strong></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">Filecoin：采用多副本冗余，存储空间利用率低</span></span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">Filecoin在容错机制的设计上<span style="color: black;">选取</span>了多副本冗余，这是<span style="color: black;">因为</span>其复制证明机制只能支持副本冗余，<span style="color: black;">没法</span>支付纠删码冗余。用户<span style="color: black;">针对</span><span style="color: black;">详细</span>副本数量可<span style="color: black;">自动</span><span style="color: black;">选取</span>，<span style="color: black;">例如</span><span style="color: black;">倘若</span><span style="color: black;">选取</span>3副本，<span style="color: black;">那样</span>空间利用率相当于<span style="color: black;">仅有</span>33%。虽然用户<span style="color: black;">选取</span>的节点越多，冗余程度就越高，其安全性相应<span style="color: black;">亦</span>越高，<span style="color: black;">然则</span>冗余程高却<span style="color: black;">亦</span>会让系统存储空间利用率下降，这<span style="color: black;">针对</span>大容量数据的存储则尤为<span style="color: black;">显著</span>。</span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">另一</span>Filecoin采用多副本冗余机制，只要其中一个节点正常就能获取副本。任一数据节点<span style="color: black;">出现</span>故障，系统会立即将该数据节点中丢失的数据块在其它节点中进行重构恢复，但其本身是缺乏修复机制的，这让其<span style="color: black;">靠谱</span>性受到<span style="color: black;">必定</span>限制。</span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">MEMO：两种冗余技术相结合，独创数据修复技术，存储空间利用率高</span></span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">MEMO采用多副本与纠删码两种冗余技术相结合，以各数据的体量和应用特点为依据，体量大的数据<span style="color: black;">尽可能</span>采用纠删码容错，体量小的数据可采用多副本冗余。</span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">由于</span>需存储的原始数据<span style="color: black;">通常</span>容量大且读取频率低，<span style="color: black;">因此呢</span>用户所存储的原始数据默认采用纠删码方式，当然用户<span style="color: black;">亦</span>可<span style="color: black;">选取</span>多副本方式，这<span style="color: black;">重点</span>取决于用户对数据的存储<span style="color: black;">需求</span>。纠删码<span style="color: black;">经过</span>引入校验数据块<span style="color: black;">保证</span>数据冗余，占据系统空间较小。<span style="color: black;">另一</span>MEMO独创了RAFI技术，无论<span style="color: black;">运用</span>多副本冗余机制还是纠删码冗余机制，该技术都能够<span style="color: black;">经过</span>快速确认失效数据块从而加快数据修复。相较普通数据修复机制，RAFI技术能够将<span style="color: black;">靠谱</span>性<span style="color: black;">加强</span>数倍。</span></span></p>
    <div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/9e4f9f833d7e4cda937caf8fe678a07f~noop.image?_iz=58558&amp;from=article.pc_detail&amp;lk3s=953192f4&amp;x-expires=1728092200&amp;x-signature=WHz5E49X8Clf8j2F540YTjLutiU%3D" style="width: 50%; margin-bottom: 20px;"></div>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><strong style="color: blue;"><span style="color: black;"><span style="color: black;">4、</span>参与门槛高低<span style="color: black;">区别</span>，致使系统拓展性<span style="color: black;">区别</span></span></strong></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">Filecoin：共识机制使得算力趋于集中，普通设备参与难度大</span></span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">Filecoin<span style="color: black;">运用</span>封装空间<span style="color: black;">做为</span>出块依据，其共识机制是以复制证明（PoRep）和时空证明（PoSt）为<span style="color: black;">基本</span>的预期共识（EC），预期共识让存储<span style="color: black;">供给</span>者<span style="color: black;">得到</span>选举的可能性跟其当前的有效算力成正比。<span style="color: black;">因此呢</span>，Filecoin出块比拼的是封装空间<span style="color: black;">体积</span>，封装空间越大出块的几率越大。但其封装过程是一个<span style="color: black;">繁杂</span>的计算过程，普通设备<span style="color: black;">因为</span>计算能力有限可能会面临封装失败问题，这<span style="color: black;">寓意</span>着<span style="color: black;">仅有</span><span style="color: black;">哪些</span>配置高、算力大的专业设备才适合加入Filecoin系统，而普通设备难以参与，这让它的算力不可避免的趋于集中化。</span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">MEMO：低门槛参与，系统拓展性能高</span></span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">MEMO<span style="color: black;">能够</span>链接任何图灵完备的公链，数据采用分层管理机制，区块链只用来记录角色管理、交易结算等智能合约信息，而其它的存储验证工作都转移至链下完成，这使得存储节点的收益和出块与区块链无关。这种机制的设计让链上事务<span style="color: black;">包袱</span>得到有限减缓的<span style="color: black;">同期</span>，<span style="color: black;">亦</span>让系统参与门槛大大降低—任何<span style="color: black;">持有</span>闲置存储空间的设备均可申请加入，而不必将其计算性能当作首要<span style="color: black;">需求</span>。低门槛参与和链上<span style="color: black;">包袱</span>的减轻能吸引<span style="color: black;">更加多</span>的闲置<span style="color: black;">或</span>专业设备加入，使其拓展性能进一步加强。</span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><strong style="color: blue;"><span style="color: black;"><span style="color: black;">5、</span>总结</span></strong></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">Filecoin<span style="color: black;">做为</span>IPFS的激励层，其设计的<span style="color: black;">繁杂</span>的存储证明机制虽然能够抵御多种攻击，<span style="color: black;">然则</span>却让系统的存储目的、空间利用率、<span style="color: black;">靠谱</span>性能、<span style="color: black;">运用</span>性能及拓展性能均受到<span style="color: black;">必定</span>限制。而MEMO致力于做链的<span style="color: black;">基本</span><span style="color: black;">设备</span>，在系统设计上一切皆以灵活和可用性为<span style="color: black;">目的</span>，其<span style="color: black;">研发</span>的一种基于BLS签名的公开验证机制安全<span style="color: black;">有效</span>且通信开销小，以链下验证机制为<span style="color: black;">基本</span>，又<span style="color: black;">研发</span>了多层级容错机制及以RAFI为关键技术的数据修复机制，这些技术的组合让MEMO<span style="color: black;">最后</span><span style="color: black;">作为</span>一个高安全、高<span style="color: black;">靠谱</span>、高可用性和高拓展性的分散式云存储项目。</span></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><strong style="color: blue;"><span style="color: black;"><span style="color: black;">认识</span><span style="color: black;">更加多</span>MEFS<span style="color: black;">关联</span>内容，欢迎关注：</span></strong></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><strong style="color: blue;"><span style="color: black;">l 官网：</span></strong><span style="color: black;">http://memolabs.org</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><strong style="color: blue;"><span style="color: black;">l 公众号：</span></strong><span style="color: black;">MEMO分散式存储</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><strong style="color: blue;"><span style="color: black;">l Twitter：</span></strong><span style="color: black;">Memo Labs</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><strong style="color: blue;"><span style="color: black;">l Medium：</span></strong><span style="color: black;">Memo Labs</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><strong style="color: blue;"><span style="color: black;">l Discord：</span></strong><span style="color: black;">https://discord.gg/YG4Ydv2E7X</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><strong style="color: blue;"><span style="color: black;">l Telegram：</span></strong><span style="color: black;">http://t.me/memolabsio</span></p>

查看完整版本: 简析去中心化存储项目MEMO与Filecoin的差异