A evolução do armazenamento descentralizado: de FIL a Shelby

O armazenamento foi uma das áreas mais populares na indústria de blockchain. Filecoin, como o projeto líder da última corrida de alta, teve uma capitalização de mercado que ultrapassou os 10 bilhões de dólares. Arweave foca no armazenamento permanente, atingindo uma capitalização de mercado de 3,5 bilhões de dólares. No entanto, com as limitações do armazenamento de dados frios sendo reveladas, a necessidade de armazenamento permanente foi questionada, e se o armazenamento descentralizado pode realmente se concretizar gerou ampla discussão. O surgimento do Walrus trouxe novas esperanças para a área de armazenamento que estava há muito tempo em silêncio, enquanto o projeto Shelby, lançado em parceria entre Aptos e Jump Crypto, visa elevar o armazenamento descentralizado no campo de dados quentes a um novo patamar. Este artigo analisará o processo de mudança narrativa do armazenamento descentralizado a partir dos caminhos de desenvolvimento de quatro projetos representativos: Filecoin, Arweave, Walrus e Shelby, explorando as perspectivas futuras do armazenamento descentralizado.

FIL: armazenamento superficial, na verdade mineração

Filecoin é um dos projetos representativos que surgiu cedo, com seu desenvolvimento direcionado à Descentralização, uma característica comum dos primeiros projetos de blockchain. O Filecoin combina armazenamento com Descentralização, tentando resolver o problema de confiança dos provedores de serviços de armazenamento de dados centralizados. No entanto, certos aspectos sacrificados para alcançar a Descentralização tornaram-se pontos problemáticos que projetos posteriores como Arweave ou Walrus se esforçam para resolver. Para entender que o Filecoin é na verdade um projeto de moeda minerada, é necessário conhecer as limitações objetivas da sua tecnologia subjacente IPFS, que não é adequada para lidar com dados quentes.

IPFS:瓶颈 de transmissão da arquitetura de Descentralização

O IPFS(, Sistema de Arquivos Interplanetário), foi lançado por volta de 2015, com o objetivo de revolucionar o protocolo HTTP tradicional através da endereçamento de conteúdo. O maior inconveniente do IPFS é a extrema lentidão na obtenção de dados. Em uma era em que os serviços de dados tradicionais conseguem tempos de resposta na faixa de milissegundos, o IPFS ainda leva dezenas de segundos para obter um arquivo, o que dificulta sua promoção em aplicações práticas e explica por que, além de alguns projetos de blockchain, ele é raramente adotado por setores tradicionais.

O protocolo P2P subjacente do IPFS é principalmente adequado para "dados frios", ou seja, conteúdo estático que não muda com frequência, como vídeos, imagens e documentos. No entanto, ao lidar com dados quentes, como páginas web dinâmicas, jogos online ou aplicações de inteligência artificial, o protocolo P2P não apresenta vantagens significativas em relação ao CDN tradicional.

Apesar de o IPFS não ser uma blockchain, o conceito de design que adota um gráfico acíclico direcionado (DAG) está altamente alinhado com muitas blockchains e protocolos Web3, tornando-o naturalmente adequado como uma estrutura de construção subjacente para blockchains. Portanto, mesmo que não tenha valor prático, como uma estrutura subjacente que suporta a narrativa da blockchain, já é suficiente; os projetos iniciais só precisam de uma estrutura que funcione para abrir novos espaços de imaginação. No entanto, quando o Filecoin se desenvolve até certo ponto, as limitações trazidas pelo IPFS começam a impedir seu desenvolvimento adicional.

Lógica de moedas mineradas sob o armazenamento

O design do IPFS teve como objetivo permitir que os usuários, ao armazenar dados, também pudessem fazer parte de uma rede de armazenamento. No entanto, na ausência de incentivos econômicos, é difícil para os usuários utilizarem voluntariamente este sistema, quanto mais se tornarem nós de armazenamento ativos. Isso significa que a maioria dos usuários apenas armazenará arquivos no IPFS, mas não contribuirá com seu próprio espaço de armazenamento, nem armazenará os arquivos de outros. É nesse contexto que o FIL surgiu.

No modelo econômico do token do FIL, existem três papéis principais: os usuários são responsáveis por pagar taxas para armazenar dados; os mineradores de armazenamento recebem incentivos em tokens por armazenar os dados dos usuários; os mineradores de recuperação fornecem dados quando os usuários precisam e recebem incentivos.

Esse modelo apresenta um espaço potencial para comportamentos maliciosos. Os mineradores de armazenamento podem, após fornecer espaço de armazenamento, preencher com dados inúteis para obter recompensas. Como esses dados inúteis não serão recuperados, mesmo que sejam perdidos, não ativará o mecanismo de penalização dos mineradores de armazenamento. Isso permite que os mineradores de armazenamento excluam dados inúteis e repitam esse processo. O consenso de prova de replicação do Filecoin só pode garantir que os dados do usuário não foram excluídos de forma não autorizada, mas não pode impedir que os mineradores preencham com dados inúteis.

A operação do Filecoin depende em grande parte do investimento contínuo dos mineradores na economia dos tokens, e não da demanda real dos usuários finais por armazenamento descentralizado. Embora o projeto continue a iterar, nesta fase atual, a construção do ecossistema do Filecoin está mais alinhada com a definição de projetos de armazenamento "lógica de mineração" do que "drivada por aplicações".

Arweave: a espada de dois gumes do longo prazo

Se o objetivo de design do Filecoin é construir uma "nuvem de dados" descentralizada que seja incentivada e comprovável, então o Arweave segue um extremo em outra direção no armazenamento: oferecendo a capacidade de armazenamento permanente para dados. O Arweave não tenta construir uma plataforma de computação distribuída; todo o seu sistema se desenvolve em torno de uma suposição central - dados importantes devem ser armazenados uma única vez e permanecer para sempre na rede. Esse extremo de longo prazo faz com que o Arweave, desde o mecanismo até o modelo de incentivos, desde as necessidades de hardware até a perspectiva narrativa, seja muito diferente do Filecoin.

Arweave usa o Bitcoin como objeto de estudo, tentando otimizar continuamente sua rede de armazenamento permanente ao longo de longos períodos, medidos em anos. Arweave não se importa com marketing, nem com concorrentes ou tendências de mercado. Está apenas avançando continuamente no caminho da iteração da arquitetura da rede, mesmo que ninguém se interesse, porque essa é a essência da equipe de desenvolvimento da Arweave: o longo prazo. Graças ao longo prazo, Arweave foi muito procurada no último mercado em alta; e também por causa do longo prazo, mesmo tendo caído ao fundo do poço, Arweave ainda pode suportar algumas rodadas de alta e baixa. Mas será que o armazenamento descentralizado no futuro terá um lugar para a Arweave? O valor da existência do armazenamento permanente só pode ser provado pelo tempo.

A mainnet do Arweave, desde a versão 1.5 até a recente versão 2.9, apesar de ter perdido a atenção do mercado, tem se dedicado a permitir que um maior número de mineradores participe da rede com o menor custo possível, e a incentivar os mineradores a armazenar dados ao máximo, melhorando continuamente a robustez de toda a rede. O Arweave está ciente de que não atende às preferências do mercado, por isso adota uma abordagem conservadora, não abraçando a comunidade de mineradores, com o ecossistema completamente estagnado, atualizando a mainnet com o menor custo possível, enquanto continua a reduzir o limiar de hardware sem comprometer a segurança da rede.

Revisão do caminho de atualização de 1.5-2.9

A versão 1.5 do Arweave expôs uma vulnerabilidade onde os mineradores podiam depender de empilhamento de GPU em vez de armazenamento real para otimizar as chances de criar blocos. Para conter essa tendência, a versão 1.7 introduziu o algoritmo RandomX, limitando o uso de poder computacional especializado e exigindo que CPUs gerais participassem na mineração, enfraquecendo assim a centralização do poder computacional.

Na versão 2.0, Arweave adotou SPoA, transformando a prova de dados em um caminho simplificado de estrutura de árvore Merkle e introduzindo transações de formato 2 para reduzir a carga de sincronização. Esta arquitetura aliviou a pressão sobre a largura de banda da rede, aumentando significativamente a capacidade de colaboração dos nós. No entanto, alguns mineradores ainda podem contornar a responsabilidade real de posse de dados através de uma estratégia de pool de armazenamento centralizado de alta velocidade.

Para corrigir essa tendência, a versão 2.4 introduziu o mecanismo SPoRA, que incorpora índices globais e acesso aleatório lento a hashes, obrigando os mineradores a realmente possuírem blocos de dados para participar da geração eficaz de blocos, enfraquecendo assim o efeito de empilhamento de poder de computação. Como resultado, os mineradores começaram a se preocupar com a velocidade de acesso ao armazenamento, promovendo a aplicação de SSDs e dispositivos de leitura e gravação de alta velocidade. A versão 2.6 introduziu uma cadeia de hashes para controlar o ritmo de geração de blocos, equilibrando os benefícios marginais de dispositivos de alto desempenho e proporcionando um espaço de participação justa para mineradores de pequeno e médio porte.

As versões futuras fortalecerão ainda mais a capacidade de colaboração em rede e a diversidade de armazenamento: a versão 2.7 adiciona mineração colaborativa e mecanismos de pool, aumentando a competitividade dos pequenos mineradores; a versão 2.8 introduz um mecanismo de empacotamento composto, permitindo que dispositivos de grande capacidade e baixa velocidade participem de forma flexível; a versão 2.9 introduz um novo processo de empacotamento no formato replica_2_9, aumentando significativamente a eficiência e reduzindo a dependência computacional, completando o ciclo do modelo de mineração orientado a dados.

De uma forma geral, o caminho de atualização do Arweave apresenta claramente sua estratégia de longo prazo orientada para o armazenamento: ao resistir constantemente à tendência de concentração de poder computacional, continua a reduzir as barreiras de entrada, garantindo a possibilidade de funcionamento a longo prazo do protocolo.

Walrus: Uma nova tentativa de armazenamento de dados quentes

A abordagem de design do Walrus é completamente diferente da do Filecoin e do Arweave. O ponto de partida do Filecoin é criar um sistema de armazenamento descentralizado e verificável, com o custo de armazenamento de dados frios; o ponto de partida do Arweave é criar uma biblioteca de Alexandria em cadeia que possa armazenar dados permanentemente, com o custo de ter poucos cenários; o ponto de partida do Walrus é otimizar os custos de armazenamento do protocolo de armazenamento de dados quentes.

RedStuff: versão melhorada do código de correção e exclusão

Na concepção dos custos de armazenamento, a Walrus considera que o Filecoin e o Arweave têm despesas de armazenamento inadequadas, pois ambos adotam uma arquitetura de replicação completa, cuja principal vantagem é que cada nó possui uma cópia completa, conferindo uma forte capacidade de tolerância a falhas e independência entre os nós. Esse tipo de arquitetura garante que, mesmo que alguns nós fiquem offline, a rede ainda mantenha a disponibilidade dos dados. No entanto, isso também significa que o sistema requer redundância de múltiplas cópias para manter a robustez, o que, por sua vez, eleva os custos de armazenamento. Especialmente no design do Arweave, o mecanismo de consenso em si já incentiva a redundância de armazenamento nos nós, para aumentar a segurança dos dados. Em contrapartida, o Filecoin possui maior flexibilidade no controle de custos, mas o preço a pagar é que parte do armazenamento de baixo custo pode ter um risco maior de perda de dados. A Walrus tenta encontrar um equilíbrio entre os dois, com um mecanismo que controla os custos de replicação enquanto aumenta a disponibilidade por meio de redundância estruturada, estabelecendo assim um novo caminho de compromisso entre a disponibilidade dos dados e a eficiência de custos.

A Redstuff criado pela Walrus é a tecnologia chave para reduzir a redundância nos nós, originando-se da codificação Reed-Solomon(RS). A codificação RS é um algoritmo de código de correção de erros muito tradicional, e o código de correção de erros é uma técnica que permite duplicar um conjunto de dados através da adição de fragmentos redundantes(erasure code), podendo ser usada para reconstruir os dados originais. Desde CD-ROMs a comunicações via satélite e até códigos QR, é frequentemente utilizada na vida cotidiana.

Os códigos de correção permitem que os usuários obtenham um bloco, por exemplo, de 1MB, e depois "ampliem" para 2MB, onde o adicional de 1MB é chamado de dados especiais de correção. Se qualquer byte no bloco se perder, os usuários podem facilmente recuperar esses bytes através do código. Mesmo que até 1MB do bloco se perca, você ainda pode recuperar o bloco inteiro. A mesma técnica permite que os computadores leiam todos os dados em um CD-ROM, mesmo que esteja danificado.

Atualmente, o mais utilizado é o código RS. A implementação é feita a partir de k blocos de informação, construindo um polinómio relacionado e avaliando-o em diferentes coordenadas x, para obter blocos codificados. Ao usar códigos de correção de erros RS, a probabilidade de amostrar aleatoriamente a perda de grandes blocos de dados é muito pequena.

Exemplo: Dividir um arquivo em 6 blocos de dados e 4 blocos de verificação, totalizando 10 partes. Basta manter qualquer 6 dessas partes para conseguir restaurar os dados originais.

Vantagens: alta tolerância a falhas, amplamente utilizado em CD/DVD, arranjos de discos rígidos tolerantes a falhas (RAID), bem como em sistemas de armazenamento em nuvem ( como Azure Storage, Facebook F4).

Desvantagens: a decodificação é complexa e o custo é alto; não é adequado para cenários de dados em constante mudança. Portanto, geralmente é utilizado para recuperação e agendamento de dados em ambientes centralizados fora da cadeia.

Na Descentralização, o Storj e o Sia ajustaram a codificação RS tradicional para atender às necessidades reais de redes distribuídas. O Walrus também propôs a sua própria variante — o algoritmo de codificação RedStuff, para alcançar um mecanismo de armazenamento redundante mais flexível e de menor custo.

Qual é a principal característica do Redstuff? Através da melhoria do algoritmo de codificação de correção de erros, o Walrus consegue codificar rapidamente e de forma robusta blocos de dados não estruturados em fragmentos menores, que são armazenados distribuídos em uma rede de nós de armazenamento. Mesmo que até dois terços dos fragmentos se percam, é possível reconstruir rapidamente os blocos de dados originais usando fragmentos parciais. Isso se torna possível mantendo o fator de replicação entre 4 e 5 vezes.

Portanto, é razoável definir o Walrus como um protocolo leve de redundância e recuperação redesenhado em torno de um cenário de Descentralização. Em comparação com códigos de correção tradicionais ( como Reed-Solomon ), o RedStuff não busca mais a consistência matemática rigorosa, mas faz uma compensação realista em relação à distribuição de dados, verificação de armazenamento e custo computacional. Esse modelo abandona o mecanismo de decodificação instantânea exigido pela programação centralizada, passando a verificar on-chain se os nós possuem cópias específicas de dados através de Proof, adaptando-se assim a uma estrutura de rede mais dinâmica e marginalizada.

RedSt