Évolution du stockage décentralisé : de Filecoin à Shelby

Le stockage a longtemps été l'un des secteurs les plus en vue de l'industrie de la blockchain. Filecoin, en tant que projet phare du dernier marché haussier, a vu sa capitalisation boursière dépasser les dix milliards de dollars. Arweave se concentre sur le stockage permanent, atteignant une capitalisation maximale de 3,5 milliards de dollars. Cependant, avec les limitations du stockage de données froides révélées, la nécessité du stockage permanent a été remise en question, et la capacité du stockage décentralisé à se concrétiser a suscité de larges débats. L'apparition de Walrus apporte un nouvel espoir à un secteur de stockage longtemps silencieux, tandis que le projet Shelby, lancé par Aptos en collaboration avec Jump Crypto, vise à propulser le stockage décentralisé dans le domaine des données chaudes vers de nouveaux sommets. Cet article analysera le processus de transformation narrative du stockage décentralisé en partant des chemins de développement de quatre projets représentatifs : Filecoin, Arweave, Walrus et Shelby, et explorera les perspectives de développement futur du stockage décentralisé.

FIL : stockage de surface, véritablement du minage

Filecoin est l'un des projets représentatifs qui ont émergé tôt, dont l'orientation du développement tourne autour de la Décentralisation, une caractéristique commune des projets blockchain précoces. Filecoin combine le stockage et la Décentralisation, tentant de résoudre le problème de confiance des fournisseurs de services de stockage de données centralisés. Cependant, certains aspects sacrifiés pour réaliser la Décentralisation sont devenus des points douloureux que des projets ultérieurs comme Arweave ou Walrus s'efforcent de résoudre. Pour comprendre que Filecoin est en réalité un projet de monnaie minière, il est nécessaire de connaître les limitations objectives de sa technologie sous-jacente, IPFS, qui n'est pas adaptée au traitement des données chaudes.

IPFS : goulot d'étranglement de transmission dans une architecture décentralisée

IPFS( le système de fichiers intergalactique) a été lancé autour de 2015, dans le but de révolutionner le protocole HTTP traditionnel grâce à l'adressage par contenu. Le principal inconvénient d'IPFS est que la vitesse d'obtention est extrêmement lente. À une époque où les services de données traditionnels peuvent atteindre des temps de réponse en millisecondes, IPFS nécessite encore plusieurs secondes pour obtenir un fichier, ce qui rend difficile sa promotion dans des applications pratiques et explique pourquoi, à part quelques projets de blockchain, il est rarement adopté par les secteurs traditionnels.

Le protocole P2P sous-jacent d'IPFS est principalement adapté aux "données froides", c'est-à-dire aux contenus statiques qui ne changent pas souvent, comme les vidéos, les images et les documents. Cependant, en ce qui concerne les données chaudes, comme les pages web dynamiques, les jeux en ligne ou les applications d'intelligence artificielle, le protocole P2P ne présente pas d'avantages significatifs par rapport aux CDN traditionnels.

Bien que l'IPFS ne soit pas lui-même une blockchain, son concept de conception en graphe acyclique dirigé (DAG) s'aligne étroitement avec de nombreuses chaînes publiques et protocoles Web3, ce qui le rend naturellement adapté en tant que cadre de construction sous-jacent pour les blockchains. Ainsi, même s'il n'a pas de valeur utilitaire, il est déjà suffisant en tant que cadre de base pour porter le récit de la blockchain. Les projets initiaux avaient simplement besoin d'un cadre fonctionnel pour ouvrir de nouveaux espaces d'imagination, mais lorsque Filecoin a atteint un certain stade de développement, les limitations apportées par l'IPFS ont commencé à entraver son développement ultérieur.

logique des pièces de monnaie sous l'enveloppe de stockage

Le design d'IPFS a pour but de permettre aux utilisateurs de stocker des données tout en faisant partie d'un réseau de stockage. Cependant, en l'absence d'incitations économiques, il est difficile pour les utilisateurs d'adopter ce système de manière volontaire, sans parler de devenir des nœuds de stockage actifs. Cela signifie que la plupart des utilisateurs ne stockeront des fichiers que sur IPFS, sans contribuer leur propre espace de stockage, ni stocker les fichiers des autres. C'est dans ce contexte que Filecoin est né.

Dans le modèle économique des tokens de Filecoin, il y a principalement trois rôles : les utilisateurs sont responsables du paiement des frais pour stocker des données ; les mineurs de stockage reçoivent des incitations en tokens pour le stockage des données des utilisateurs ; les mineurs de récupération fournissent des données lorsque les utilisateurs en ont besoin et reçoivent des incitations.

Ce modèle présente un espace potentiel de malveillance. Les mineurs de stockage pourraient, après avoir fourni de l'espace de stockage, remplir des données inutiles pour obtenir des récompenses. Comme ces données inutiles ne seront pas récupérées, même si elles sont perdues, cela ne déclenchera pas le mécanisme de pénalité des mineurs de stockage. Cela permet aux mineurs de stockage de supprimer les données inutiles et de répéter ce processus. Le consensus de preuve de réplication de Filecoin ne peut garantir que les données des utilisateurs n'ont pas été supprimées de manière non autorisée, mais il ne peut pas empêcher les mineurs de remplir des données inutiles.

Le fonctionnement de Filecoin dépend en grande partie de l'investissement continu des mineurs dans l'économie des jetons, plutôt que de la demande réelle des utilisateurs finaux pour le stockage décentralisé. Bien que le projet soit en cours d'itération, à ce stade, la construction de l'écosystème de Filecoin correspond davantage à la définition d'un projet de stockage "logique de mineur" qu'à celle d'un projet "piloté par l'application".

Arweave : l'épée à double tranchant du long terme

Si l'objectif de conception de Filecoin est de construire une "cloud de données" décentralisé, incitatif et prouvable, alors Arweave va dans l'autre extrême en matière de stockage : fournir la capacité de stockage permanent des données. Arweave n'essaie pas de construire une plateforme de calcul distribuée, son système entier repose sur une hypothèse centrale – les données importantes doivent être stockées une fois pour toutes et rester éternellement sur le réseau. Ce long terme extrême fait qu'Arweave, tant du point de vue des mécanismes que des modèles d'incitation, des exigences matérielles au récit, est très différent de Filecoin.

Arweave utilise le Bitcoin comme objet d'apprentissage, tentant d'optimiser continuellement son réseau de stockage permanent sur de longues périodes mesurées en années. Arweave ne se soucie pas du marketing, ni des concurrents ou des tendances du marché. Il avance simplement sur le chemin de l'itération de l'architecture réseau, même s'il n'attire personne, car c'est là l'essence de l'équipe de développement d'Arweave : le long-termisme. Grâce au long-termisme, Arweave a été fortement plébiscité lors du dernier marché haussier ; et à cause du long-termisme, même en tombant au fond, Arweave pourrait encore traverser plusieurs cycles de hausses et de baisses. Mais l'avenir du stockage décentralisé a-t-il une place pour Arweave ? La valeur d'existence du stockage permanent ne peut être prouvée que par le temps.

Depuis la version 1.5 jusqu'à la récente version 2.9 du réseau principal d'Arweave, bien qu'il ait perdu l'attention du marché, il s'est toujours engagé à permettre à un plus large éventail de mineurs de participer au réseau à un coût minimal, et à inciter les mineurs à stocker le maximum de données, ce qui améliore constamment la robustesse de l'ensemble du réseau. Arweave est bien conscient de ne pas correspondre aux préférences du marché, c'est pourquoi il adopte une approche conservatrice, n'embrassant pas les communautés de mineurs, avec un écosystème complètement stagnant, mettant à niveau le réseau principal à coût minimal, tout en réduisant continuellement le seuil matériel sans compromettre la sécurité du réseau.

Retour sur le parcours de mise à niveau de 1,5 à 2,9

La version 1.5 d'Arweave a révélé une vulnérabilité permettant aux mineurs de s'appuyer sur des empilements de GPU plutôt que sur un stockage réel pour optimiser les chances de création de blocs. Pour contrer cette tendance, la version 1.7 a introduit l'algorithme RandomX, limitant l'utilisation de la puissance de calcul spécialisée et exigeant la participation de CPU génériques au minage, afin d'affaiblir la centralisation de la puissance de calcul.

Dans la version 2.0, Arweave adopte le SPoA, transformant la preuve de données en un chemin simplifié de structure d'arbre de Merkle, et introduit des transactions de format 2 pour réduire la charge de synchronisation. Cette architecture atténue la pression sur la bande passante du réseau, améliorant ainsi considérablement la capacité de collaboration des nœuds. Cependant, certains mineurs peuvent encore contourner la responsabilité de détention réelle des données en utilisant des stratégies de pools de stockage centralisés à haute vitesse.

Pour corriger ce biais, la version 2.4 a introduit le mécanisme SPoRA, qui intègre un index global et un accès aléatoire lent aux hachages, obligeant les mineurs à détenir réellement des blocs de données pour participer à des blocs valides, réduisant ainsi l'effet de l'accumulation de puissance de calcul. En conséquence, les mineurs ont commencé à se concentrer sur la vitesse d'accès au stockage, ce qui a favorisé l'application de SSD et de dispositifs à lecture/écriture haute vitesse. La version 2.6 a introduit une chaîne de hachage pour contrôler le rythme de production des blocs, équilibrant les rendements marginaux des équipements haute performance et offrant un espace de participation équitable pour les mineurs de petite et moyenne taille.

Les versions ultérieures renforcent davantage la capacité de collaboration réseau et la diversité de stockage : la version 2.7 ajoute le minage collaboratif et le mécanisme de pool, améliorant la compétitivité des petits mineurs ; la version 2.8 introduit un mécanisme de packaging composite, permettant aux dispositifs à grande capacité et à faible vitesse de participer de manière flexible ; la version 2.9 introduit un nouveau processus de packaging au format replica_2_9, augmentant considérablement l'efficacité et réduisant la dépendance au calcul, complétant ainsi le modèle de minage orienté données.

Dans l'ensemble, le chemin de mise à niveau d'Arweave présente clairement sa stratégie à long terme axée sur le stockage : tout en résistant à la tendance de concentration de la puissance de calcul, il continue de réduire les barrières à l'entrée, garantissant ainsi la possibilité d'un fonctionnement à long terme du protocole.

Walrus: une nouvelle tentative de stockage de données chaudes

La philosophie de conception de Walrus est complètement différente de celle de Filecoin et d'Arweave. Le point de départ de Filecoin est de créer un système de stockage décentralisé et vérifiable, au prix d'un stockage de données froides ; le point de départ d'Arweave est de créer une bibliothèque d'Alexandrie on-chain capable de stocker des données de façon permanente, au prix d'un trop petit nombre de scénarios ; le point de départ de Walrus est d'optimiser les coûts de stockage du protocole de stockage de données chaudes.

RedStuff : version améliorée du code de correction d'effacement

En ce qui concerne la conception des coûts de stockage, Walrus estime que les frais de stockage de FIL et d'Arweave sont déraisonnables. Les deux adoptent une architecture de réplication complète, dont l'avantage principal est que chaque nœud détient une copie complète, offrant une forte tolérance aux pannes et une indépendance entre les nœuds. Ce type d'architecture garantit que même si certains nœuds sont hors ligne, le réseau conserve la disponibilité des données. Cependant, cela signifie également que le système nécessite une redondance multi-copie pour maintenir la robustesse, ce qui fait grimper les coûts de stockage. En particulier dans la conception d'Arweave, le mécanisme de consensus lui-même encourage le stockage redondant par les nœuds pour renforcer la sécurité des données. En revanche, FIL est plus flexible en matière de contrôle des coûts, mais cela a un coût : un stockage à faible coût peut comporter un risque plus élevé de perte de données. Walrus tente de trouver un équilibre entre les deux, son mécanisme contrôlant les coûts de réplication tout en améliorant la disponibilité par une redondance structurée, établissant ainsi un nouveau compromis entre la disponibilité des données et l'efficacité des coûts.

La technologie Redstuff créée par Walrus est la clé pour réduire la redondance des nœuds, et elle provient du codage Reed-Solomon ( RS ). Le codage RS est un algorithme de codes d'effacement très traditionnel, et les codes d'effacement sont une technique qui permet de doubler un jeu de données en ajoutant des segments redondants ( erasure code ), pouvant être utilisés pour reconstruire les données d'origine. Du CD-ROM à la communication par satellite en passant par le code QR, il est fréquemment utilisé dans la vie quotidienne.

Les codes de correction d'erreurs permettent aux utilisateurs d'obtenir un bloc, par exemple de 1 Mo, puis de l'"étendre" à 2 Mo, où le Mo supplémentaire est constitué de données spéciales appelées codes de correction d'erreurs. Si un octet dans le bloc est perdu, l'utilisateur peut facilement récupérer ces octets grâce aux codes. Même si jusqu'à 1 Mo de bloc est perdu, vous pouvez récupérer l'intégralité du bloc. La même technique permet aux ordinateurs de lire toutes les données d'un CD-ROM, même s'il a été endommagé.

Actuellement, le code RS est le plus couramment utilisé. La méthode de mise en œuvre consiste à partir de k blocs d'information, à construire un polynôme associé et à l'évaluer à différentes coordonnées x pour obtenir des blocs codés. En utilisant le code de correction d'erreurs RS, la probabilité de perdre de grands blocs de données par échantillonnage aléatoire est très faible.

Prenons un exemple : diviser un fichier en 6 blocs de données et 4 blocs de parité, pour un total de 10 parts. Il suffit de conserver 6 de ces parts pour pouvoir récupérer intégralement les données originales.

Avantages : forte tolérance aux pannes, largement utilisé dans les CD/DVD, les systèmes RAID(, ainsi que dans les systèmes de stockage cloud) tels qu'Azure Storage, Facebook F4(.

Inconvénients : déchiffrage complexe, coûts élevés ; pas adapté aux scénarios de données à changement fréquent. Il est donc généralement utilisé pour la récupération et la planification des données dans des environnements centralisés hors chaîne.

Dans une architecture décentralisée, Storj et Sia ont ajusté le codage RS traditionnel pour s'adapter aux besoins réels des réseaux distribués. Walrus a également proposé sa propre variante - l'algorithme de codage RedStuff - pour réaliser un mécanisme de stockage redondant plus flexible et à moindre coût.

Quelle est la principale caractéristique de Redstuff ? Grâce à l'amélioration de l'algorithme d'encodage de correction d'erreurs, Walrus peut coder rapidement et de manière robuste des blocs de données non structurées en fragments plus petits, qui seront stockés de manière distribuée dans un réseau de nœuds de stockage. Même si jusqu'à deux tiers des fragments sont perdus, il est possible de reconstruire rapidement le bloc de données d'origine en utilisant des fragments partiels. Cela devient possible avec un facteur de réplication maintenu seulement entre 4 et 5.

Il est donc raisonnable de définir Walrus comme un protocole léger de redondance et de récupération redessiné autour de scénarios de décentralisation. Contrairement aux codes de correction d'erreurs traditionnels ) tels que Reed-Solomon (, RedStuff ne poursuit plus une cohérence mathématique stricte, mais effectue des compromis réalistes en fonction de la distribution des données, de la vérification du stockage et des coûts de calcul. Ce modèle abandonne le mécanisme de décodage instantané requis par la planification centralisée et adopte plutôt une vérification par preuve sur la chaîne pour déterminer si les nœuds détiennent des copies spécifiques des données, s'adaptant ainsi à une structure de réseau plus dynamique et marginalisée.

RedSt