Décentralisation du stockage : parcours et perspectives d'avenir

Le stockage a longtemps été l'un des secteurs les plus en vogue de l'industrie de la blockchain. Filecoin, en tant que projet phare du dernier marché haussier, a vu sa capitalisation boursière dépasser 10 milliards de dollars. Arweave se concentre sur le stockage permanent, atteignant une capitalisation boursière maximale de 3,5 milliards de dollars. Cependant, avec la remise en question de l'utilité du stockage de données froides, l'avenir du stockage décentralisé est également mis en doute.

Récemment, l'apparition de Walrus a suscité un nouvel intérêt pour le récit de stockage longtemps endormi. Le projet Shelby, lancé en collaboration entre Aptos et Jump Crypto, vise à propulser le stockage décentralisé dans le domaine des données chaudes vers de nouveaux sommets. Alors, le stockage décentralisé peut-il renaître et devenir une infrastructure largement utilisée ? Ou s'agit-il simplement d'un nouvel engouement ? Cet article partira des trajectoires de développement de quatre projets : Filecoin, Arweave, Walrus et Shelby, pour analyser l'évolution du récit du stockage décentralisé et explorer ses orientations futures.

Filecoin : le stockage n'est qu'une apparence, le minage est l'essence

Filecoin est l'un des projets de cryptomonnaie qui a émergé tôt, dont la direction de développement tourne autour de la Décentralisation. C'est une caractéristique commune des projets cryptographiques précoces - chercher le sens de la Décentralisation dans divers domaines traditionnels. Filecoin tente de combiner le stockage avec la Décentralisation, en proposant le point de vue selon lequel le stockage de données centralisé présente des risques de confiance. Cependant, certains compromis faits pour réaliser la Décentralisation sont devenus des points sensibles que des projets ultérieurs comme Arweave ou Walrus essaient de résoudre.

Pour comprendre pourquoi Filecoin est essentiellement une cryptomonnaie minière, il est nécessaire de comprendre les limitations objectives de sa technologie sous-jacente, IPFS, qui n'est pas adaptée au stockage de données chaudes.

IPFS : Décentralisation architecture, mais limitée par des goulots d'étranglement de transmission

IPFS( Système de fichiers interplanétaires) a été lancé vers 2015, visant à révolutionner le protocole HTTP traditionnel par l'adressage de contenu. Mais le principal problème d'IPFS est sa vitesse d'accès extrêmement lente. À une époque où les fournisseurs de données traditionnels peuvent atteindre des temps de réponse de l'ordre de la milliseconde, il faut encore une dizaine de secondes pour récupérer un fichier via IPFS, ce qui rend difficile sa promotion dans les applications pratiques et explique pourquoi, à l'exception de quelques projets blockchain, il est rarement adopté par les industries traditionnelles.

Le protocole P2P sous-jacent d'IPFS est principalement adapté aux "données froides" - des contenus statiques peu changeants tels que des vidéos, des images et des documents. Cependant, en ce qui concerne les données chaudes, comme les pages web dynamiques, les jeux en ligne ou les applications d'IA, le protocole P2P n'offre pas d'avantages significatifs par rapport aux CDN traditionnels.

Bien que l'IPFS ne soit pas une blockchain en soi, son concept de conception basé sur le graphe acyclique dirigé (DAG) s'harmonise étroitement avec de nombreuses chaînes publiques et protocoles Web3, ce qui le rend intrinsèquement adapté comme cadre de construction sous-jacent pour les blockchains. Ainsi, même en l'absence de valeur pratique, servir de cadre de base pour porter le récit de la blockchain est déjà suffisant. Les projets de clones précoces n'avaient besoin que d'un cadre fonctionnel pour réaliser de grandes visions, mais lorsque Filecoin a atteint un certain stade, les limitations imposées par l'IPFS ont commencé à entraver son développement ultérieur.

Logique des pièces de monnaie sous l'enveloppe de stockage

L'objectif de la conception de l'IPFS est de permettre aux utilisateurs de stocker des données tout en faisant partie d'un réseau de stockage. Cependant, sans incitation économique, il est difficile pour les utilisateurs d'utiliser ce système de manière volontaire, encore moins de devenir des nœuds de stockage actifs. Cela signifie que la plupart des utilisateurs ne feront que stocker des fichiers sur l'IPFS, sans contribuer leur propre espace de stockage ni stocker les fichiers des autres. C'est dans ce contexte que Filecoin a vu le jour.

Dans le modèle économique des tokens de Filecoin, il y a principalement trois rôles : les utilisateurs sont responsables du paiement des frais pour stocker des données ; les mineurs de stockage reçoivent des incitations en tokens pour le stockage des données des utilisateurs ; les mineurs de récupération fournissent des données lorsque les utilisateurs en ont besoin et obtiennent des incitations.

Ce modèle présente un espace potentiel pour des abus. Les mineurs de stockage peuvent, après avoir fourni de l'espace de stockage, remplir celui-ci avec des données inutiles pour obtenir des récompenses. Étant donné que ces données inutiles ne seront pas récupérées, même si elles sont perdues, cela ne déclenchera pas le mécanisme de pénalité des mineurs de stockage. Cela permet aux mineurs de stockage de supprimer les données inutiles et de répéter ce processus. Le consensus de preuve de réplication de Filecoin ne peut garantir que les données des utilisateurs n'ont pas été supprimées illicitement, mais ne peut pas empêcher les mineurs de remplir de données inutiles.

Le fonctionnement de Filecoin repose en grande partie sur l'investissement continu des mineurs dans l'économie des tokens, plutôt que sur la demande réelle des utilisateurs finaux pour le stockage décentralisé. Bien que le projet soit toujours en cours d'itération, à ce stade, la construction de l'écosystème de Filecoin correspond davantage à la "logique des mineurs" qu'à la définition d'un projet de stockage "axé sur l'application".

Arweave: né du long-termisme, vaincu par le long-termisme

Si l'objectif de conception de Filecoin est de construire un "cloud de données" décentralisé, incitatif et vérifiable, alors Arweave va dans une autre direction extrême en matière de stockage : fournir la capacité de stockage permanent des données. Arweave ne tente pas de construire une plateforme de calcul distribuée, son système entier repose sur une hypothèse centrale - les données importantes doivent être stockées une seule fois et rester éternellement sur le réseau. Ce long-termisme extrême fait qu'Arweave diffère radicalement de Filecoin en termes de mécanisme, de modèle d'incitation, de besoins matériels et de perspective narrative.

Arweave utilise le Bitcoin comme objet d'étude, tentant d'optimiser continuellement son réseau de stockage permanent sur une longue période mesurée en années. Arweave ne se soucie pas du marketing, ni des concurrents ou des tendances du marché. Il avance simplement sur le chemin de l'itération de l'architecture du réseau, même si personne ne s'y intéresse, car c'est là l'essence de l'équipe de développement d'Arweave : le long-termisme. Grâce au long-termisme, Arweave a été chaleureusement accueilli lors du dernier marché haussier ; et à cause du long-termisme, même en tombant à son point le plus bas, Arweave pourrait encore survivre à plusieurs cycles de haussier et baissier. Mais l'avenir du stockage décentralisé a-t-il une place pour Arweave ? La valeur d'existence du stockage permanent ne peut être prouvée que par le temps.

Depuis la version 1.5 jusqu'à la récente version 2.9 du réseau principal Arweave, bien qu'il ait perdu de sa popularité sur le marché, il s'est toujours efforcé de permettre à un plus large éventail de mineurs de participer au réseau à moindres coûts, et d'inciter les mineurs à stocker un maximum de données, renforçant ainsi la robustesse de l'ensemble du réseau. Arweave est conscient qu'il ne correspond pas aux préférences du marché, adopte une approche conservatrice, ne s'embrasse pas avec la communauté des mineurs, et l'écosystème est complètement à l'arrêt, mettant à niveau le réseau principal à moindres coûts, tout en abaissant continuellement le seuil matériel sans compromettre la sécurité du réseau.

Retour sur la route de mise à niveau de 1.5 à 2.9

La version 1.5 d'Arweave a révélé une faille permettant aux mineurs de s'appuyer sur des empilements de GPU plutôt que sur un stockage réel pour optimiser leurs chances de créer des blocs. Pour freiner cette tendance, la version 1.7 a introduit l'algorithme RandomX, limitant l'utilisation de la puissance de calcul spécialisée, et exigeant plutôt la participation de CPU génériques dans le minage, afin de réduire la décentralisation de la puissance de calcul.

Dans la version 2.0, Arweave adopte le SPoA, transformant la preuve de données en un chemin succinct de structure d'arbre de Merkle et introduisant les transactions de format 2 pour réduire la charge de synchronisation. Cette architecture atténue la pression sur la bande passante du réseau, rendant la capacité de collaboration des nœuds significativement améliorée. Cependant, certains mineurs peuvent encore échapper à la responsabilité de la détention réelle des données grâce à une stratégie de pools de stockage centralisés à haute vitesse.

Pour corriger ce biais, la version 2.4 a introduit le mécanisme SPoRA, qui intègre un index global et un accès aléatoire lent au hachage, obligeant les mineurs à détenir réellement des blocs de données pour participer à la création de blocs valides, réduisant ainsi l'effet d'accumulation de puissance de calcul. En conséquence, les mineurs commencent à se concentrer sur la vitesse d'accès au stockage, ce qui stimule l'utilisation de SSD et d'équipements de lecture/écriture à haute vitesse. La version 2.6 a introduit une chaîne de hachage pour contrôler le rythme de création de blocs, équilibrant les rendements marginaux des équipements hautes performances et offrant un espace de participation équitable pour les mineurs de petite et moyenne taille.

Les versions suivantes renforcent davantage la capacité de collaboration réseau et la diversité du stockage : la version 2.7 introduit le minage collaboratif et un mécanisme de pool, améliorant la compétitivité des petits mineurs ; la version 2.8 lance un mécanisme d'emballage composite, permettant aux dispositifs à grande capacité et à faible vitesse de participer de manière flexible ; la version 2.9 introduit un nouveau processus d'emballage sous le format replica_2_9, augmentant considérablement l'efficacité et réduisant la dépendance au calcul, complétant ainsi le modèle de minage orienté données.

Dans l'ensemble, le chemin de mise à niveau d'Arweave présente clairement sa stratégie à long terme axée sur le stockage : tout en résistant constamment à la tendance de concentration de la puissance de calcul, il continue de réduire les barrières à l'entrée, garantissant ainsi la possibilité d'un fonctionnement à long terme du protocole.

Walrus : Embrasser les données chaudes est-il un battage médiatique ou cache-t-il quelque chose de plus profond ?

Walrus, en termes de conception, est complètement différent de Filecoin et Arweave. Le point de départ de Filecoin est de créer un système de stockage décentralisé et vérifiable, au prix du stockage de données froides ; le point de départ d'Arweave est de créer une bibliothèque d'Alexandrie sur la chaîne capable de stocker des données de manière permanente, au prix d'un nombre de scénarios trop faible ; le point de départ de Walrus est d'optimiser le protocole de stockage de données chaudes en réduisant les coûts de stockage.

Magie de la correction d'erreur : innovation des coûts ou nouvel emballage d'un vieux vin ?

En termes de conception des coûts de stockage, Walrus estime que les frais de stockage de Filecoin et d'Arweave sont déraisonnables, ces deux derniers utilisant une architecture de réplication complète. Leur principal avantage réside dans le fait que chaque nœud détient une copie complète, offrant une forte capacité de tolérance aux pannes et une indépendance entre les nœuds. Ce type d'architecture garantit que même si certains nœuds sont hors ligne, le réseau conserve sa disponibilité des données. Cependant, cela signifie également que le système nécessite une redondance de copies multiples pour maintenir sa robustesse, ce qui augmente les coûts de stockage. En particulier dans la conception d'Arweave, le mécanisme de consensus lui-même incite à la redondance de stockage des nœuds pour améliorer la sécurité des données. En revanche, Filecoin présente une plus grande flexibilité en matière de contrôle des coûts, mais au prix d'un risque de perte de données plus élevé pour certaines options de stockage à faible coût. Walrus tente de trouver un équilibre entre les deux, son mécanisme contrôlant les coûts de réplication tout en renforçant la disponibilité par une approche de redondance structurée, établissant ainsi un nouveau compromis entre la disponibilité des données et l'efficacité des coûts.

La technologie Redstuff, créée par Walrus, est la clé pour réduire la redondance des nœuds, elle provient du codage Reed-Solomon(RS). Le codage RS est un algorithme de code d'effacement très traditionnel, le code d'effacement est une technique qui permet de doubler un ensemble de données en ajoutant des fragments redondants(erasure code), ce qui peut être utilisé pour reconstruire les données originales. Du CD-ROM à la communication par satellite en passant par le code QR, il est fréquemment utilisé dans la vie quotidienne.

Les codes de correction d'erreurs permettent aux utilisateurs d'obtenir un bloc, par exemple d'une taille de 1 Mo, puis de "l'agrandir" à 2 Mo, où le 1 Mo supplémentaire est constitué de données spéciales appelées codes de correction d'erreurs. Si un quelconque octet dans le bloc est perdu, l'utilisateur peut facilement récupérer ces octets grâce aux codes. Même si jusqu'à 1 Mo de bloc est perdu, vous pouvez récupérer l'intégralité du bloc. La même technique permet à un ordinateur de lire toutes les données d'un CD-ROM, même si celui-ci est endommagé.

Actuellement, le code RS est le plus couramment utilisé. La méthode de mise en œuvre consiste à commencer par k blocs d'information, à construire un polynôme associé et à l'évaluer à différentes coordonnées x pour obtenir des blocs codés. En utilisant le code de correction d'erreurs RS, la probabilité de perdre de gros blocs de données par échantillonnage aléatoire est très faible.

Prenons un exemple : diviser un fichier en 6 blocs de données et 4 blocs de vérification, soit un total de 10 parts. Il suffit de conserver n'importe quelle 6 parts pour pouvoir restaurer complètement les données d'origine.

Avantages : grande tolérance aux pannes, largement utilisé dans les CD/DVD, les ensembles de disques durs anti-panne (RAID), ainsi que dans les systèmes de stockage en cloud ( tels qu'Azure Storage, Facebook F4).

Inconvénients : le décodage est complexe et coûteux ; il n'est pas adapté aux scénarios de données à changements fréquents. Il est donc généralement utilisé pour la récupération et la planification des données dans des environnements de concentration hors chaîne.

Dans une architecture décentralisée, Storj et Sia ont ajusté le codage RS traditionnel pour s'adapter aux besoins réels des réseaux distribués. Walrus a également proposé sa propre variante - l'algorithme de codage RedStuff - pour réaliser un mécanisme de stockage redondant à moindre coût et plus flexible.

Quelle est la caractéristique principale de Redstuff ? Grâce à l'amélioration de l'algorithme de codage de correction d'erreurs, Walrus peut rapidement et de manière robuste encoder des blocs de données non structurées en fragments plus petits, qui sont stockés de manière distribuée dans un réseau de nœuds de stockage. Même si jusqu'à deux tiers des fragments sont perdus, il est possible de reconstruire rapidement le bloc de données d'origine en utilisant des fragments partiels. Cela devient possible tout en maintenant un facteur de réplication de seulement 4 à 5 fois.

Il est donc raisonnable de définir Walrus comme un protocole léger de redondance et de récupération redessiné autour du scénario de Décentralisation. Contrairement aux codes de correction d'effacement traditionnels ( tels que Reed-Solomon ), RedStuff ne recherche plus une stricte cohérence mathématique, mais effectue des compromis réalistes sur la distribution des données, la vérification du stockage et le coût de calcul. Ce modèle abandonne la planification centralisée.