Descentralización almacenamiento: desarrollo y perspectivas futuras

El almacenamiento fue una de las rutas más populares en la industria de blockchain. Filecoin, como el proyecto líder de la última corrida alcista, tuvo un valor de mercado que superó los 10 mil millones de dólares en su punto más alto. Arweave se centra en el almacenamiento permanente, alcanzando un valor de mercado de 3.5 mil millones de dólares. Sin embargo, a medida que se cuestiona la utilidad del almacenamiento de datos fríos, el futuro del almacenamiento descentralizado también se ha convertido en una pregunta.

Recientemente, la aparición de Walrus ha traído nueva atención a la narrativa de almacenamiento que había estado en silencio durante mucho tiempo. El proyecto Shelby, lanzado en colaboración entre Aptos y Jump Crypto, intenta llevar el almacenamiento descentralizado en el ámbito de los datos calientes a nuevas alturas. Entonces, ¿podrá el almacenamiento descentralizado resurgir y convertirse en una infraestructura de aplicación generalizada? ¿O será simplemente otra ronda de especulación? Este artículo analizará la evolución de la narrativa de almacenamiento descentralizado desde las trayectorias de desarrollo de cuatro proyectos: Filecoin, Arweave, Walrus y Shelby, y explorará su dirección futura.

Filecoin: el almacenamiento es solo una apariencia, la minería es la esencia

Filecoin es uno de los proyectos de criptomonedas que surgió en las primeras etapas, cuyo desarrollo se centra en la Descentralización. Esta es una característica común de los proyectos de criptomonedas tempranas: buscar el significado de la Descentralización en diversos campos tradicionales. Filecoin intenta combinar el almacenamiento con la Descentralización, planteando la idea de que el almacenamiento de datos centralizado presenta riesgos de confianza. Sin embargo, algunos compromisos realizados para lograr la Descentralización se han convertido en puntos críticos que proyectos posteriores como Arweave o Walrus intentan abordar.

Para entender por qué Filecoin es esencialmente una moneda minera, es necesario comprender las limitaciones objetivas de su tecnología subyacente IPFS, que no es adecuada para el almacenamiento de datos en caliente.

IPFS: Descentralización arquitectura, pero limitado por cuellos de botella en la transmisión

IPFS( Sistema de archivos interplanetario) se lanzó alrededor de 2015, con el objetivo de revolucionar el protocolo HTTP tradicional a través del direccionamiento por contenido. Sin embargo, el mayor problema de IPFS es que la velocidad de obtención es extremadamente lenta. En una era donde los proveedores de datos tradicionales pueden alcanzar tiempos de respuesta en milisegundos, IPFS aún necesita unos segundos para obtener un archivo, lo que dificulta su promoción en aplicaciones prácticas y explica por qué, salvo por unos pocos proyectos de blockchain, rara vez es adoptado por industrias tradicionales.

El protocolo P2P subyacente de IPFS es principalmente adecuado para "datos fríos" - contenido estático que no cambia con frecuencia, como videos, imágenes y documentos. Sin embargo, al manejar datos calientes, como páginas web dinámicas, juegos en línea o aplicaciones de IA, el protocolo P2P no tiene ventajas significativas en comparación con las CDN tradicionales.

Aunque IPFS en sí mismo no es una blockchain, su concepto de diseño basado en un grafo acíclico dirigido (DAG) se alinea estrechamente con muchas cadenas de bloques públicas y protocolos Web3, lo que lo hace inherentemente adecuado como un marco de construcción subyacente para blockchain. Por lo tanto, incluso careciendo de valor práctico, como marco subyacente para llevar la narrativa de blockchain, ya es suficiente. Los primeros proyectos clones solo necesitaban un marco que funcionara para iniciar una gran visión, pero a medida que Filecoin evolucionó a una cierta etapa, las limitaciones que presentó IPFS comenzaron a obstaculizar su desarrollo adicional.

lógica de monedas mineras bajo el almacenamiento exterior

El diseño original de IPFS era permitir que los usuarios, al almacenar datos, también pudieran ser parte de la red de almacenamiento. Sin embargo, sin incentivos económicos, es difícil que los usuarios utilicen este sistema de manera voluntaria, y mucho menos que se conviertan en nodos de almacenamiento activos. Esto significa que la mayoría de los usuarios solo almacenarán archivos en IPFS, pero no contribuirán con su espacio de almacenamiento ni almacenarán archivos de otros. Es en este contexto que nació Filecoin.

En el modelo económico del token de Filecoin, hay tres roles principales: los usuarios son responsables de pagar tarifas para almacenar datos; los mineros de almacenamiento reciben incentivos en tokens por almacenar los datos de los usuarios; y los mineros de recuperación proporcionan datos cuando los usuarios los necesitan y reciben incentivos.

Este modelo presenta un espacio potencial para el comportamiento malicioso. Los mineros de almacenamiento pueden llenar datos basura después de proporcionar espacio de almacenamiento para obtener recompensas. Dado que estos datos basura no serán recuperados, incluso si se pierden, no activarán el mecanismo de penalización de los mineros de almacenamiento. Esto permite a los mineros de almacenamiento eliminar los datos basura y repetir este proceso. El consenso de prueba de replicación de Filecoin solo puede asegurar que los datos del usuario no hayan sido eliminados de manera privada, pero no puede evitar que los mineros llenen datos basura.

La operación de Filecoin depende en gran medida de la inversión continua de los mineros en la economía de tokens, en lugar de basarse en la demanda real de almacenamiento distribuido por parte de los usuarios finales. Aunque el proyecto sigue en iteración continua, en la etapa actual, la construcción del ecosistema de Filecoin se ajusta más a la definición de proyectos de almacenamiento impulsados por la "lógica de minado" en lugar de ser "impulsados por aplicaciones".

Arweave: nace del largo plazo, muere por el largo plazo

Si el objetivo de diseño de Filecoin es construir una "nube de datos" descentralizada, incentivada y verificable, entonces Arweave se dirige al extremo opuesto en el almacenamiento: proporcionar la capacidad de almacenamiento permanente para los datos. Arweave no intenta construir una plataforma de computación distribuida; su sistema completo se desarrolla en torno a una suposición central: los datos importantes deben almacenarse una vez y permanecer para siempre en la red. Este extremo enfoque a largo plazo hace que Arweave sea muy diferente de Filecoin, desde los mecanismos hasta el modelo de incentivos, y desde los requisitos de hardware hasta la perspectiva narrativa.

Arweave utiliza Bitcoin como objeto de estudio, intentando optimizar continuamente su red de almacenamiento permanente a lo largo de períodos largos medidos en años. Arweave no se preocupa por el marketing, ni por los competidores o las tendencias del mercado. Simplemente avanza en su camino de iterar la arquitectura de la red, sin importar si nadie se interesa, porque esa es la esencia del equipo de desarrollo de Arweave: el largo plazo. Gracias al largo plazo, Arweave fue muy popular en el último mercado alcista; y también por el largo plazo, incluso si cae al fondo, Arweave aún podría soportar varias rondas de mercados alcistas y bajistas. Pero, ¿tendrá Arweave un lugar en el futuro del almacenamiento descentralizado? El valor de existencia del almacenamiento permanente solo puede ser probado por el tiempo.

Desde la versión 1.5 hasta la reciente 2.9, la mainnet de Arweave, aunque ha perdido la intensidad de discusión en el mercado, ha estado trabajando para permitir que un rango más amplio de mineros participe en la red con el costo mínimo posible, e incentivar a los mineros a almacenar datos al máximo, elevando la robustez de toda la red. Arweave es muy consciente de que no se ajusta a las preferencias del mercado, adoptando un enfoque conservador, no abrazando a la comunidad de mineros, con un ecosistema completamente estancado, actualizando la mainnet con el costo mínimo y reduciendo continuamente las barreras de hardware sin comprometer la seguridad de la red.

Revisión del camino de actualización de 1.5-2.9

La versión 1.5 de Arweave expuso una vulnerabilidad que permite a los mineros depender de la acumulación de GPU en lugar de almacenamiento real para optimizar las probabilidades de extracción de bloques. Para frenar esta tendencia, la versión 1.7 introdujo el algoritmo RandomX, limitando el uso de potencia de cálculo especializada y exigiendo la participación de CPU genéricas en la minería, debilitando así la centralización de la potencia de cálculo.

En la versión 2.0, Arweave adopta SPoA, convirtiendo la prueba de datos en una ruta simplificada de estructura de árbol de Merkle, e introduce transacciones de formato 2 para reducir la carga de sincronización. Esta arquitectura alivia la presión sobre el ancho de banda de la red, lo que mejora significativamente la capacidad de colaboración de los nodos. Sin embargo, algunos mineros aún pueden eludir la responsabilidad real de la posesión de datos a través de estrategias de pools de almacenamiento centralizados de alta velocidad.

Para corregir esta tendencia, 2.4 lanzó el mecanismo SPoRA, introduciendo un índice global y acceso aleatorio a hash lento, lo que obliga a los mineros a poseer realmente bloques de datos para participar en la producción efectiva de bloques, debilitando así el efecto de apilamiento de poder de computación desde el mecanismo. Como resultado, los mineros comenzaron a centrarse en la velocidad de acceso al almacenamiento, impulsando la aplicación de dispositivos SSD y de lectura/escritura de alta velocidad. 2.6 introdujo una cadena de hash para controlar el ritmo de producción de bloques, equilibrando la rentabilidad marginal de los dispositivos de alto rendimiento y proporcionando un espacio de participación justa para los mineros pequeños y medianos.

Las versiones posteriores fortalecerán aún más la capacidad de colaboración en la red y la diversidad de almacenamiento: 2.7 añade minería colaborativa y mecanismos de pools de minería, mejorando la competitividad de los pequeños mineros; 2.8 introduce un mecanismo de empaquetado compuesto, permitiendo que dispositivos de gran capacidad y baja velocidad participen de manera flexible; 2.9 introduce un nuevo proceso de empaquetado en formato replica_2_9, que aumenta significativamente la eficiencia y reduce la dependencia computacional, completando el ciclo del modelo de minería orientado a datos.

En general, la ruta de actualización de Arweave presenta claramente su estrategia a largo plazo orientada al almacenamiento: resistiendo continuamente la tendencia de concentración de poder de cómputo, mientras se reduce constantemente la barrera de entrada, garantizando la posibilidad de funcionamiento a largo plazo del protocolo.

Walrus: ¿Abrazar los datos calientes es una exageración o encierra un misterio?

Walrus desde la perspectiva del diseño, es completamente diferente de Filecoin y Arweave. El punto de partida de Filecoin es crear un sistema de almacenamiento descentralizado y verificable, a costa del almacenamiento de datos fríos; el punto de partida de Arweave es construir una biblioteca de Alejandría en la cadena que pueda almacenar datos de forma permanente, a costa de tener muy pocos escenarios; el punto de partida de Walrus es optimizar el costo de almacenamiento de un protocolo de almacenamiento de datos calientes.

Modificación mágica del código de corrección: ¿innovación en costos o poner vino viejo en botellas nuevas?

En términos de diseño de costos de almacenamiento, Walrus considera que los gastos de almacenamiento de Filecoin y Arweave son irrazonables, ya que ambos utilizan una arquitectura de replicación completa. Su principal ventaja radica en que cada nodo posee una copia completa, lo que proporciona una alta capacidad de tolerancia a fallos y una independencia entre nodos. Este tipo de arquitectura asegura que incluso si algunos nodos están fuera de línea, la red aún mantiene la disponibilidad de datos. Sin embargo, esto también significa que el sistema necesita redundancia de múltiples copias para mantener la robustez, lo que a su vez eleva los costos de almacenamiento. Especialmente en el diseño de Arweave, el mecanismo de consenso en sí mismo fomenta el almacenamiento redundante de nodos para mejorar la seguridad de los datos. En comparación, Filecoin tiene más flexibilidad en el control de costos, pero a costa de que algunos almacenamiento de bajo costo pueden tener un mayor riesgo de pérdida de datos. Walrus intenta encontrar un equilibrio entre ambos, su mecanismo controla los costos de replicación mientras mejora la disponibilidad a través de una forma de redundancia estructurada, estableciendo así una nueva vía de compromiso entre la disponibilidad de datos y la eficiencia de costos.

La tecnología Redstuff, creada por Walrus, es clave para reducir la redundancia de los nodos. Proviene de la codificación Reed-Solomon(RS). La codificación RS es un algoritmo de código de borrado muy tradicional, y el código de borrado es una técnica que permite duplicar un conjunto de datos mediante la adición de fragmentos redundantes(erasure code), que se puede utilizar para reconstruir los datos originales. Desde CD-ROM hasta comunicaciones por satélite y códigos QR, se utiliza con frecuencia en la vida cotidiana.

El código de borrado permite a los usuarios obtener un bloque, por ejemplo, de 1 MB de tamaño, y luego "ampliarlo" a 2 MB de tamaño, donde el 1 MB adicional se llama datos especiales de código de borrado. Si se pierde algún byte en el bloque, el usuario puede recuperar fácilmente esos bytes a través del código. Incluso si se pierde un bloque de hasta 1 MB, usted puede recuperar todo el bloque. La misma técnica permite que las computadoras lean todos los datos en un CD-ROM, incluso si ha sido dañado.

Actualmente, el código más utilizado es el código RS. La forma de implementación es comenzar con k bloques de información, construir un polinomio relacionado y evaluarlo en diferentes coordenadas x para obtener los bloques codificados. Al usar códigos de borrado RS, la posibilidad de perder grandes bloques de datos mediante muestreo aleatorio es muy pequeña.

Ejemplo: Dividir un archivo en 6 bloques de datos y 4 bloques de paridad, un total de 10 partes. Mientras se conserven cualquiera de las 6 partes, se puede restaurar completamente los datos originales.

Ventajas: alta tolerancia a fallos, ampliamente utilizado en CD/DVD, arreglos de discos duros tolerantes a fallos (RAID), así como en sistemas de almacenamiento en la nube ( como Azure Storage, Facebook F4).

Desventajas: la decodificación es computacionalmente compleja y costosa; no es adecuada para escenarios de datos que cambian con frecuencia. Por lo tanto, se utiliza comúnmente para la recuperación y programación de datos en entornos centralizados fuera de la cadena.

En una arquitectura de Descentralización, Storj y Sia han ajustado la codificación RS tradicional para adaptarse a las necesidades prácticas de las redes distribuidas. Walrus también ha propuesto su propia variante - el algoritmo de codificación RedStuff - para lograr un mecanismo de almacenamiento redundante más económico y flexible.

¿Cuál es la característica más destacada de Redstuff? A través de la mejora del algoritmo de codificación y eliminación, Walrus puede codificar rápidamente y de manera robusta bloques de datos no estructurados en fragmentos más pequeños, que se almacenan distribuidos en una red de nodos de almacenamiento. Incluso si se pierden hasta dos tercios de los fragmentos, es posible reconstruir rápidamente el bloque de datos original utilizando fragmentos parciales. Esto se hace posible manteniendo un factor de replicación de solo 4 a 5 veces.

Por lo tanto, es razonable definir a Walrus como un protocolo ligero de redundancia y recuperación rediseñado en torno a un escenario de Descentralización. En comparación con los códigos de corrección de borrado tradicionales ( como Reed-Solomon ), RedStuff ya no persigue una estricta coherencia matemática, sino que ha realizado compromisos realistas en cuanto a la distribución de datos, la verificación de almacenamiento y los costos de cálculo. Este modelo abandona la programación centralizada.