Descentralização do armazenamento: evolução e perspectivas futuras

O armazenamento foi uma das áreas mais populares na indústria de blockchain. Filecoin, como o projeto líder da última alta do mercado, teve um valor de mercado que ultrapassou os 10 bilhões de dólares. Arweave foca no armazenamento permanente, com um valor de mercado máximo de 3,5 bilhões de dólares. No entanto, à medida que a utilidade do armazenamento de dados frios foi questionada, o futuro do armazenamento descentralizado também passou a ser uma incógnita.

Recentemente, a aparição do Walrus trouxe nova atenção à narrativa de armazenamento que estava há muito tempo em silêncio. O projeto Shelby, lançado em parceria entre a Aptos e a Jump Crypto, tenta levar o armazenamento descentralizado no campo de dados quentes a novas alturas. Então, será que o armazenamento descentralizado pode ressurgir e se tornar uma infraestrutura amplamente aplicada? Ou será apenas mais uma rodada de especulação? Este artigo analisará a evolução da narrativa de armazenamento descentralizado a partir das trajetórias de desenvolvimento dos quatro projetos: Filecoin, Arweave, Walrus e Shelby, explorando suas direções futuras.

Filecoin: o armazenamento é apenas uma aparência, a mineração é a essência

Filecoin é um dos projetos de criptomoeda que surgiu no início, com um direcionamento de desenvolvimento centrado na Descentralização. Esta é uma característica comum dos projetos de criptomoeda iniciais - procurar o significado da Descentralização em diversos setores tradicionais. Filecoin tenta combinar armazenamento com Descentralização, apresentando a perspectiva de que o armazenamento de dados centralizado possui riscos de confiança. No entanto, algumas concessões feitas para alcançar a Descentralização acabaram se tornando pontos problemáticos que projetos posteriores, como Arweave ou Walrus, tentaram resolver.

Para entender por que o Filecoin é essencialmente uma moeda de mineração, é necessário compreender as limitações objetivas da sua tecnologia subjacente, o IPFS, que não é adequada para o armazenamento de dados quentes.

IPFS: Descentralização arquitetura, mas limitada por gargalos de transmissão

O sistema de arquivos interplanetário IPFS( foi lançado por volta de 2015, com o objetivo de revolucionar o protocolo HTTP tradicional através da endereçamento por conteúdo. No entanto, o maior problema do IPFS é a velocidade de obtenção extremamente lenta. Em uma era em que os provedores de dados tradicionais podem alcançar tempos de resposta em milissegundos, o IPFS ainda leva dezenas de segundos para obter um arquivo, o que dificulta sua promoção em aplicações práticas e explica por que, além de alguns projetos de blockchain, raramente é adotado por indústrias tradicionais.

O protocolo P2P subjacente do IPFS é principalmente adequado para "dados frios" - conteúdos estáticos que mudam raramente, como vídeos, imagens e documentos. No entanto, ao lidar com dados quentes, como páginas da web dinâmicas, jogos online ou aplicações de IA, o protocolo P2P não apresenta vantagens significativas em relação ao CDN tradicional.

Embora o IPFS em si não seja uma blockchain, o conceito de design de gráfico acíclico direcionado )DAG( que adota está altamente alinhado com muitas blockchains e protocolos Web3, tornando-o naturalmente adequado como uma estrutura de construção subjacente para blockchains. Portanto, mesmo sem valor prático, como estrutura subjacente para a narrativa da blockchain, já é suficiente. Projetos iniciais de imitação precisavam apenas de uma estrutura que funcionasse para iniciar uma grande visão, mas quando o Filecoin se desenvolveu até certo ponto, as limitações trazidas pelo IPFS começaram a obstruir seu desenvolvimento adicional.

) Lógica das moedas mineradas sob o armazenamento

O design do IPFS teve como objetivo permitir que os usuários, ao armazenar dados, também fizessem parte de uma rede de armazenamento. No entanto, na ausência de incentivos econômicos, é difícil para os usuários utilizarem voluntariamente este sistema, quanto mais se tornarem nós de armazenamento ativos. Isso significa que a maioria dos usuários apenas armazenará arquivos no IPFS, mas não contribuirá com seu próprio espaço de armazenamento, nem armazenará arquivos de outros. É nesse contexto que o Filecoin surgiu.

No modelo econômico do token da Filecoin, existem principalmente três papéis: os usuários são responsáveis por pagar taxas para armazenar dados; os mineradores de armazenamento recebem incentivos em tokens por armazenar os dados dos usuários; e os mineradores de recuperação fornecem dados quando os usuários precisam e recebem incentivos.

Este modelo apresenta um espaço potencial para comportamentos maliciosos. Os mineradores de armazenamento podem, após fornecer espaço de armazenamento, preencher dados indesejados para obter recompensas. Como esses dados indesejados não são recuperados, mesmo que sejam perdidos, isso não ativa o mecanismo de penalização dos mineradores de armazenamento. Isso permite que os mineradores de armazenamento excluam dados indesejados e repitam este processo. O consenso de prova de replicação do Filecoin só pode garantir que os dados do usuário não tenham sido excluídos sem autorização, mas não consegue impedir que os mineradores preencham dados indesejados.

A operação do Filecoin depende em grande parte do investimento contínuo dos mineradores na economia dos tokens, ao invés de se basear na verdadeira demanda dos usuários finais por armazenamento descentralizado. Embora o projeto continue a iterar, nesta fase, a construção do ecossistema do Filecoin se alinha mais à definição de um projeto de armazenamento baseado na "lógica de mineração" do que na "aplicação impulsionada".

Arweave: Nasceu do longo prazo, fracassou no longo prazo

Se o objetivo de design do Filecoin é construir uma "nuvem de dados" descentralizada que seja incentivada e provada, então o Arweave segue em uma direção extrema no armazenamento: proporcionando a capacidade de armazenamento permanente para os dados. O Arweave não tenta construir uma plataforma de computação distribuída; todo o seu sistema gira em torno de uma suposição central - dados importantes devem ser armazenados uma única vez e permanecer na rede para sempre. Este extremismo do longo prazo faz com que o Arweave, desde os mecanismos até o modelo de incentivos, desde os requisitos de hardware até a perspectiva narrativa, seja muito diferente do Filecoin.

Arweave utiliza o Bitcoin como objeto de estudo, tentando otimizar continuamente a sua rede de armazenamento permanente ao longo de longos períodos de tempo, contados em anos. Arweave não se preocupa com marketing, nem com concorrentes ou com as tendências do mercado. Está apenas avante na iteração da arquitetura da rede, mesmo que ninguém se interesse, porque essa é a essência da equipe de desenvolvimento da Arweave: o long-termismo. Graças ao long-termismo, a Arweave foi amplamente aclamada na última bull market; e também por causa do long-termismo, mesmo ao cair ao fundo do poço, a Arweave ainda pode resistir a várias rodadas de bull e bear markets. Mas será que haverá um lugar para a Arweave no futuro do armazenamento descentralizado? O valor da existência do armazenamento permanente só pode ser provado pelo tempo.

A mainnet do Arweave, desde a versão 1.5 até à versão mais recente 2.9, apesar de ter perdido o fervor das discussões no mercado, tem-se empenhado em permitir que um maior número de mineradores participe da rede com o mínimo custo e a incentivar os mineradores a armazenar dados ao máximo, aumentando continuamente a robustez de toda a rede. O Arweave tem plena consciência de que não se conforma com as preferências do mercado, adotando uma abordagem conservadora, não abraçando a comunidade de mineradores, com o ecossistema completamente estagnado, atualizando a mainnet com o menor custo possível, enquanto reduz continuamente a barreira de hardware sem comprometer a segurança da rede.

Revisão do caminho de atualização de 1.5-2.9

A versão 1.5 do Arweave expôs uma vulnerabilidade em que os mineradores podiam confiar na pilha de GPUs em vez de armazenamento real para otimizar a probabilidade de blocos. Para conter essa tendência, a versão 1.7 introduziu o algoritmo RandomX, limitando o uso de poder de computação especializado e exigindo que CPUs genéricas participem da mineração, enfraquecendo assim a centralização do poder de computação.

Na versão 2.0, a Arweave adotou SPoA, transformando a prova de dados em um caminho simplificado da estrutura da árvore de Merkle, e introduziu transações de formato 2 para reduzir a carga de sincronização. Esta arquitetura aliviou a pressão sobre a largura de banda da rede, aumentando significativamente a capacidade de colaboração dos nós. No entanto, alguns mineradores ainda podem evitar a responsabilidade real pela posse de dados através de uma estratégia de pool de armazenamento centralizado de alta velocidade.

Para corrigir essa tendência, a versão 2.4 lançou o mecanismo SPoRA, introduzindo um índice global e acesso aleatório a hashes lentos, fazendo com que os mineradores precisem realmente possuir blocos de dados para participar da geração de blocos efetivos, enfraquecendo assim o efeito de empilhamento de poder de computação. Como resultado, os mineradores começaram a se concentrar na velocidade de acesso ao armazenamento, impulsionando a aplicação de SSDs e dispositivos de leitura e gravação de alta velocidade. A versão 2.6 introduziu uma cadeia de hashes para controlar o ritmo da geração de blocos, equilibrando o benefício marginal de dispositivos de alta performance e proporcionando um espaço justo de participação para mineradores pequenos e médios.

As versões futuras reforçam ainda mais a capacidade de colaboração em rede e a diversidade de armazenamento: a versão 2.7 adiciona mineração colaborativa e mecanismos de pool, aumentando a competitividade dos pequenos mineradores; a versão 2.8 introduz um mecanismo de empacotamento composto, permitindo que dispositivos de grande capacidade e baixa velocidade participem de forma flexível; a versão 2.9 introduz um novo fluxo de empacotamento no formato replica_2_9, aumentando significativamente a eficiência e reduzindo a dependência de computação, completando o ciclo do modelo de mineração orientado a dados.

De uma forma geral, o caminho de atualização do Arweave apresenta claramente sua estratégia de longo prazo orientada para o armazenamento: ao resistir continuamente à tendência de concentração de poder computacional, reduzindo continuamente a barreira de entrada, garantindo a viabilidade da operação do protocolo a longo prazo.

Walrus: Abraçar dados quentes é uma hype ou tem um grande segredo?

Walrus, do ponto de vista do design, é completamente diferente do Filecoin e do Arweave. O ponto de partida do Filecoin é criar um sistema de armazenamento descentralizado e verificável, com o custo de armazenar dados frios; o ponto de partida do Arweave é criar uma biblioteca de Alexandria na cadeia que pode armazenar dados permanentemente, com o custo de ter poucos cenários; o ponto de partida do Walrus é otimizar o custo de armazenamento do protocolo de armazenamento de dados quentes.

Magia de modificação do código de correção: inovação de custo ou novo vinho em garrafa velha?

Na concepção dos custos de armazenamento, a Walrus considera que as despesas de armazenamento do Filecoin e do Arweave são irracionais. Ambos utilizam uma arquitetura de replicação completa, cuja principal vantagem é que cada nó possui uma cópia completa, oferecendo uma forte capacidade de tolerância a falhas e independência entre os nós. Essa arquitetura garante que, mesmo que alguns nós estejam offline, a rede ainda mantenha a disponibilidade dos dados. No entanto, isso também significa que o sistema requer redundância de múltiplas cópias para manter a robustez, o que, por sua vez, eleva os custos de armazenamento. Especialmente no design do Arweave, o mecanismo de consenso em si incentiva o armazenamento redundante dos nós, a fim de aumentar a segurança dos dados. Em comparação, o Filecoin é mais flexível em termos de controle de custos, mas o preço a pagar é que alguns armazenamentos de baixo custo podem apresentar um risco maior de perda de dados. A Walrus tenta encontrar um equilíbrio entre os dois, e seu mecanismo controla os custos de replicação ao mesmo tempo que aumenta a disponibilidade através de uma abordagem de redundância estruturada, estabelecendo assim um novo caminho de compromisso entre a disponibilidade de dados e a eficiência de custos.

A Redstuff criada pela Walrus é a tecnologia chave para reduzir a redundância de nós, originando-se da codificação Reed-Solomon###RS(. A codificação RS é um algoritmo de correção de erros muito tradicional, e a correção de erros é uma técnica que permite duplicar conjuntos de dados através da adição de fragmentos redundantes)erasure code(, podendo ser usada para reconstruir os dados originais. Desde CD-ROM até comunicação via satélite e códigos QR, é frequentemente utilizada na vida cotidiana.

Os códigos de correção de erros permitem que os usuários obtenham um bloco, por exemplo, de 1MB, e o "ampliem" para 2MB, onde o adicional de 1MB é chamado de dados especiais de correção de erros. Se qualquer byte no bloco estiver perdido, o usuário pode recuperar facilmente esses bytes através do código. Mesmo se até 1MB do bloco estiver perdido, você ainda pode recuperar o bloco inteiro. A mesma tecnologia permite que os computadores leiam todos os dados em um CD-ROM, mesmo que tenha sido danificado.

Atualmente, o que mais se usa é a codificação RS. O método de implementação consiste em começar com k blocos de informação, construir um polinómio relacionado e avaliá-lo em diferentes coordenadas x para obter os blocos codificados. Usando a codificação RS, a probabilidade de perda aleatória de grandes blocos de dados é muito pequena.

Exemplo: dividir um arquivo em 6 blocos de dados e 4 blocos de verificação, totalizando 10 partes. Basta manter quaisquer 6 partes para conseguir recuperar os dados originais.

Vantagens: alta tolerância a falhas, amplamente utilizada em CD/DVD, arranjos de discos rígidos à prova de falhas )RAID(, assim como em sistemas de armazenamento em nuvem ) como Azure Storage, Facebook F4(.

Desvantagens: a decodificação é complexa e os custos são elevados; não é adequado para cenários de dados que mudam com frequência. Portanto, normalmente é utilizado para recuperação e agendamento de dados em ambientes centralizados fora da cadeia.

Na Descentralização, a Storj e a Sia ajustaram a codificação RS tradicional para se adequar às necessidades reais de redes distribuídas. O Walrus também propôs sua própria variante - o algoritmo de codificação RedStuff - para alcançar um mecanismo de armazenamento redundante mais econômico e flexível.

Qual é a principal característica do Redstuff? Através da melhoria do algoritmo de codificação de correção de erros, o Walrus consegue codificar rapidamente e de forma robusta blocos de dados não estruturados em fragmentos menores, que são armazenados distribuídos em uma rede de nós de armazenamento. Mesmo que até dois terços dos fragmentos sejam perdidos, é possível reconstituir rapidamente o bloco de dados original usando fragmentos parciais. Isso torna-se possível mantendo um fator de replicação de apenas 4 a 5 vezes.

Portanto, é razoável definir o Walrus como um protocolo leve de redundância e recuperação reconfigurado em torno de um cenário de Descentralização. Em comparação com códigos de correção de erros tradicionais ) como Reed-Solomon (, o RedStuff não busca mais uma rigorosa consistência matemática, mas faz compromissos realistas em relação à distribuição de dados, verificação de armazenamento e custo computacional. Este modelo abandona o agendamento centralizado.