Acceso a datos de Web3: Introducción a los indexadores y proyectos relacionados

Escrito por: Geng Kai, DFG

La importancia de los datos en la cadena de bloques

Los datos son clave en la tecnología de blockchain y son fundamentales para el desarrollo de aplicaciones descentralizadas (dApp). Aunque la mayor parte de la discusión actual se centra en la disponibilidad de datos (DA) - asegurando que cada participante de la red pueda acceder a los datos de transacciones más recientes para su validación - hay otro aspecto igualmente importante que a menudo se pasa por alto: la accesibilidad de datos.

En la era del blockchain modular, las soluciones de DA se han vuelto indispensables. Estas soluciones garantizan que todos los participantes puedan acceder a los datos de transacciones para lograr una verificación en tiempo real y mantener la integridad de la red. Sin embargo, la funcionalidad de la capa de DA es más similar a un cartel publicitario que a una base de datos. Esto significa que los datos no se almacenan indefinidamente; se eliminan con el tiempo, al igual que los carteles en los que finalmente se reemplaza un póster antiguo por uno nuevo.

Por otro lado, la accesibilidad de los datos se centra en la capacidad de recuperar datos históricos, lo cual es crucial para el desarrollo de dApp y el análisis de blockchain. Este aspecto es fundamental para tareas que requieren acceder a datos pasados para garantizar una representación y ejecución precisa. Aunque la accesibilidad de los datos es importante, se discute menos, pero es igual de importante que la disponibilidad de los datos. Ambos desempeñan roles diferentes pero complementarios en el ecosistema de blockchain, y un enfoque integral de gestión de datos debe abordar ambos problemas para respaldar aplicaciones de blockchain poderosas y eficientes.

¿Cómo se recuperaban los datos de la cadena de bloques anteriormente

Desde su creación, la tecnología blockchain ha transformado por completo la infraestructura y ha impulsado la creación de aplicaciones descentralizadas (dApp) en diversos campos como los juegos, las finanzas y las redes sociales. Sin embargo, construir estas dApp requiere acceder a una gran cantidad de datos de blockchain, lo cual es tanto difícil como costoso.

Para los desarrolladores de dApp, una opción es alojar y ejecutar su propio nodo RPC de archivo. Estos nodos almacenan todos los datos históricos de la cadena de bloques desde el principio, lo que permite un acceso completo a los datos. Sin embargo, el mantenimiento de los nodos de archivo es costoso y su capacidad de consulta también es limitada, por lo que no se pueden consultar los datos en el formato que necesitan los desarrolladores. Aunque ejecutar nodos más baratos es una opción, la capacidad de recuperación de datos de estos nodos es limitada, lo que puede obstaculizar el funcionamiento de la dApp.

Otra opción es utilizar proveedores comerciales de nodos RPC (llamada a procedimiento remoto). Estos proveedores se encargan del costo y la gestión de los nodos, y ofrecen datos a través de puntos finales RPC. Los puntos finales RPC públicos son gratuitos, pero tienen limitaciones de velocidad que pueden afectar la experiencia del usuario de la dApp. Los puntos finales RPC privados ofrecen un mejor rendimiento al reducir la congestión, pero incluso las consultas de datos simples requieren una gran cantidad de comunicación de ida y vuelta, lo que los hace intensivos en solicitudes y poco eficientes para consultas de datos complejas. Además, los puntos finales RPC privados suelen ser difíciles de escalar y carecen de compatibilidad entre redes diferentes.

Mejor alternativa: Bloquear Índice de Cadena

El indexador de la cadena de bloques desempeña un papel crucial en la organización y envío de datos en la cadena para su posterior consulta en la base de datos, por eso a menudo se les llama el 'Google de la cadena de bloques'. Su funcionamiento consiste en indexar los datos de la cadena de bloques y hacerlos accesibles en todo momento mediante un lenguaje de consulta similar a SQL (utilizando API como GraphQL). Al proporcionar una interfaz unificada para consultar los datos, los indexadores permiten a los desarrolladores recuperar la información deseada de manera rápida y precisa utilizando un lenguaje de consulta estandarizado, lo que simplifica en gran medida el proceso.

Los diferentes tipos de indexadores optimizan la recuperación de datos de diversas maneras:

1. Indizador de nodos completos: estos indizadores ejecutan nodos completos de blockchain y extraen datos directamente de ellos, asegurando que los datos sean completos y precisos, pero requieren una gran cantidad de capacidad de almacenamiento y procesamiento.
2. Indizador ligero: estos indizadores dependen de un nodo completo para obtener datos específicos según sea necesario, lo que reduce los requisitos de almacenamiento pero puede aumentar el tiempo de consulta.
3. Indexadores especializados: Estos indexadores están diseñados específicamente para ciertos tipos de datos o blockchains específicos, y pueden optimizar la recuperación de casos de uso específicos, como datos de NFT o transacciones DeFi.
4. Indizador Agregado: Estos indizadores extraen datos de múltiples cadenas de bloques y fuentes, incluida información fuera de la cadena, proporcionando una interfaz de consulta unificada, lo cual es especialmente útil para dApps en múltiples cadenas.

Solo Ethereum requiere 3TB de espacio de almacenamiento, y con el crecimiento continuo de la cadena de bloques, los datos de almacenamiento de los nodos de archivo Erigon también aumentarán constantemente. El protocolo del indexador despliega varios indexadores que pueden indexar eficientemente y consultar rápidamente grandes cantidades de datos, algo que RPC no puede lograr.

Los indexadores también permiten realizar consultas complejas, filtrar y analizar datos fácilmente según diferentes criterios. Algunos indexadores también permiten la agregación de datos de múltiples fuentes, evitando así la necesidad de implementar múltiples APIs en dApps de varias cadenas. Al distribuirse en varios nodos, los indexadores proporcionan mayor seguridad y rendimiento, a diferencia de los proveedores de RPC que pueden experimentar interrupciones y tiempo de inactividad debido a su naturaleza centralizada.

En general, en comparación con los proveedores de nodos RPC, el indexador mejora la eficiencia y la fiabilidad de la recuperación de datos, al tiempo que reduce el coste de implementar un único nodo. Esto hace que el protocolo de indexación de bloques sea la opción preferida para los desarrolladores de dApp.

Casos de uso del indexador

Como se mencionó anteriormente, la construcción de dApp requiere recuperar y leer datos de la cadena de bloques para que sus servicios funcionen. Esto incluye cualquier tipo de dApp, como DeFi, plataformas NFT, juegos e incluso redes sociales, ya que estas plataformas necesitan leer datos antes de poder realizar otras transacciones.

DeFi

Los protocolos DeFi requieren información diferente para cotizar precios, tasas, tarifas, etc. Los proveedores de liquidez automatizados (AMM) necesitan información sobre los precios y la liquidez de ciertos pools de liquidez para calcular las tasas de swap, mientras que los protocolos de préstamos requieren la utilización para determinar las tasas de préstamo y la relación de deuda liquidada. Es esencial ingresar esta información en sus dApps antes de calcular las tasas que los usuarios ejecutarán.

Juego

GameFi necesita indexar y acceder rápidamente a los datos para garantizar que los usuarios puedan jugar sin problemas. Solo a través de una recuperación y ejecución de datos relámpago, los juegos Web3 pueden igualar en rendimiento a los juegos Web2 y atraer a más usuarios. Estos juegos requieren datos como la propiedad de la tierra, el saldo de tokens en el juego, las operaciones internas del juego, etc. Con un indexador, pueden garantizar un flujo de datos estable y un tiempo de funcionamiento normal estable para una experiencia de juego perfecta.

NFT

Los mercados de NFT y las plataformas de préstamos requieren acceso a datos indexados para varios tipos de información, como metadatos de NFT, datos de propiedad y transferencia, información de regalías, etc. Indexar rápidamente este tipo de datos puede evitar la necesidad de buscar individualmente cada NFT para encontrar la propiedad o los datos de la propiedad del NFT.

Ya sea que se trate de un proveedor de liquidez automatizado (AMM) DeFi que requiera información de precios y liquidez, o de una aplicación SocialFi que actualice publicaciones de nuevos usuarios, la capacidad de recuperar datos rápidamente es crucial para el funcionamiento adecuado de dApps. Con la ayuda de los indexadores, pueden recuperar datos de manera eficiente y precisa, brindando una experiencia de usuario fluida.

Análisis

El indexador proporciona un método para extraer datos específicos de los datos originales de la cadena de bloques, incluidos los eventos de contratos inteligentes en cada bloque. Esto brinda la oportunidad de realizar un análisis de datos más específico y obtener una visión completa.

Por ejemplo, el protocolo de intercambio perpetuo puede identificar qué Tokens tienen un alto volumen de operaciones, qué Tokens generan tarifas, y así decidir si incluir esos Tokens como contratos perpetuos en su plataforma. Los desarrolladores de DEX pueden crear paneles para sus productos, para comprender en profundidad cuáles son los fondos con mayor retorno o mayor liquidez. También pueden crear paneles públicos para permitir a los desarrolladores consultar libremente cualquier tipo de datos que deseen mostrar en los gráficos.

Dado que hay múltiples indexadores de blockchain disponibles, es crucial identificar las diferencias entre los protocolos de indexación para garantizar que los desarrolladores elijan el indexador más adecuado para sus necesidades.

Bloquear cadena del Índice Overview

Visión general del indexador

The Graph

The Graph es el primer protocolo indexador lanzado en Ethereum, que permite consultar fácilmente datos de transacciones difíciles de acceder anteriormente. Utiliza subgráficos para definir y filtrar subconjuntos de datos recopilados de la cadena de bloques, como todas las transacciones relacionadas con el pool Uniswap v3 USDC/ETH.

Utilizando pruebas de índice, el indexador apuesta con el token nativo GRT para servicios de indexación y consulta, los delegantes pueden elegir apostar sus tokens aquí. Los curadores pueden acceder a subgrafos de alta calidad para ayudar a los indexadores a determinar qué datos indexar para obtener las mejores tarifas de consulta. A medida que se produce una transición hacia una mayor descentralización, The Graph eventualmente dejará de ofrecer servicios de alojamiento y pedirá a los subgrafos que actualicen a su red, al mismo tiempo que proporciona una actualización de los indexadores.

Su infraestructura hace que el costo promedio de consulta por millón de veces alcance los 40 dólares, mucho más bajo que el costo de los nodos autohospedados. Con el origen de datos de archivos, también admite índices paralelos para datos en cadena y fuera de cadena, logrando así una recuperación eficiente de datos.

Echa un vistazo a las recompensas del indexador de The Graph, que ha estado subiendo constantemente en los últimos trimestres. Esto se debe en parte al aumento de consultas, pero también a la subida del precio del token, ya que planean integrar la asistencia de inteligencia artificial en las consultas futuras.

Subsquid

Subsquid es un lago de datos descentralizado, punto a punto y horizontalmente escalable, que puede agregar eficientemente una gran cantidad de datos de cadena y fuera de cadena, y protegerlos a través de pruebas de conocimiento cero. Como una red de trabajadores descentralizada, cada nodo es responsable de almacenar datos de un conjunto específico de bloques, acelerando el proceso de recuperación de datos al identificar rápidamente los nodos que almacenan los datos necesarios.

Subsquid también admite indexación en tiempo real, lo que permite indexar antes de que se confirme el bloque. También es compatible con el almacenamiento de datos en el formato elegido por el desarrollador, lo que facilita un análisis más sencillo con herramientas como BigQuery, Parquet o CSV. Además, los subgráficos pueden implementarse en la red Subsquid sin necesidad de migrar a Squid SDK, lo que permite implementaciones sin código.

A pesar de encontrarse todavía en la fase de prueba, Subsquid ha logrado impresionantes estadísticas, con más de 80,000 usuarios en la red de prueba, desplegando más de 60,000 indexadores de Squid, y más de 20,000 desarrolladores verificados en la red. Recientemente, el 3 de junio, Subsquid lanzó su mainnet de data lake, 01928374656574839201.

Además de los índices, el Data Lake de Subsquid Network también puede reemplazar el RPC en casos de uso como análisis, coprocesador ZK/TEE, agente de IA y Oracle.

SubQuery

SubQuery es una red de infraestructura descentralizada de middleware que proporciona servicios de datos de RPC e indexación. Inicialmente admite las redes Polkadot y Substrate, y ahora se ha expandido para incluir más de 200 cadenas. Su funcionamiento es similar al de The Graph, que utiliza pruebas de indexación, donde los indexadores indexan los datos y brindan solicitudes de consulta, y los delegadores apuestan sus participaciones en los indexadores. Sin embargo, introduce consumidores para presentar órdenes de compra y garantizar los ingresos de los indexadores en lugar de un administrador.

Introducirá un nodo de datos SubQuery que admita fragmentación para optimizar la eficiencia de la consulta y avanzar hacia una mayor descentralización, evitando la sincronización continua de datos nuevos entre cada nodo. Los usuarios pueden elegir pagar aproximadamente 1 token SQT por cada 1000 solicitudes o establecer una tarifa personalizada para el indexador a través del protocolo.

A pesar de que SubQuery lanzó su token a principios de este año, las recompensas de emisión para nodos y delegadores también han subido en valor en dólares estadounidenses, lo que también representa un aumento continuo en la cantidad de servicios de consulta proporcionados en su plataforma. Desde el TGE, la cantidad total de SQT en stake ha aumentado de 6 millones a 125 millones, lo que destaca el aumento en la participación en su red.

Covalent

Covalent es una red indexadora descentralizada, que crea copias de los datos de la cadena de bloques mediante la exportación masiva de los nodos de la red de productores de muestras de bloques (BSP) y publica pruebas en la cadena de bloques Covalent L1. Estos datos son refinados por los nodos productores de resultados de bloques (BRP) según reglas establecidas, para seleccionar los datos que cumplen con los requisitos.

A través de una API unificada, los desarrolladores pueden extraer datos relevantes de la cadena de bloques de forma sencilla con un formato de solicitud y respuesta consistente, sin necesidad de escribir consultas personalizadas complejas para acceder a los datos. Se puede utilizar el token CQT liquidable en Moonbeam como medio de pago para extraer estos conjuntos de datos preconfigurados de los proveedores de servicios de red.

Las recompensas de Covalent parecen tener una tendencia subir general desde el Q1'23 hasta el Q1'24, en parte debido al pump precio de Covalent Token CQT.

Consideraciones sobre la selección del indexador

La personalización de los datos

Algunos indexadores (como Covalent) son indexadores genéricos que solo proporcionan conjuntos de datos preconfigurados estándar a través de API. Aunque pueden ser rápidos, no ofrecen la flexibilidad necesaria para desarrolladores que necesitan conjuntos de datos personalizados. Al utilizar un marco de indexación, se permite un mayor procesamiento de datos personalizados para satisfacer las necesidades específicas de la aplicación.

Seguridad

Los datos de índice deben ser seguros, de lo contrario, las dApps construidas sobre estos índices también pueden ser vulnerables a ataques. Por ejemplo, si las transacciones y el saldo de la billetera pueden ser manipulados, la dApp puede perder liquidez, lo que afectaría a sus usuarios. Aunque todos los índices adoptan alguna forma de seguridad mediante el stake de tokens de índice, otras soluciones de índice pueden utilizar pruebas para mejorar aún más la seguridad.

Subsquid ofrece opciones de uso optimista y pruebas de conocimiento cero, mientras que Covalent también publica pruebas que incluyen valores hash de bloque. Graph proporciona un período de desafío de disputa para consultas de indexadores de manera optimista durante la ventana de desafío, mientras que SubQuery genera pruebas de montaña Merkle para cada bloque para calcular los valores hash de cada bloque de todos los datos almacenados en su base de datos.

Velocidad y escalabilidad

Con el continuo crecimiento de la cadena de bloques, también aumenta el volumen de transacciones, lo que hace que indexar una gran cantidad de datos sea más tedioso, ya que se necesita más capacidad de procesamiento y espacio de almacenamiento. Con el crecimiento de la red de cadena de bloques, mantener la eficiencia se vuelve más difícil, pero el protocolo del indexador ha introducido soluciones para satisfacer estas crecientes demandas.

Por ejemplo, Subsquid logra la escalabilidad horizontal al agregar más nodos para almacenar datos, y puede escalar a medida que se mejora el hardware. Graph proporciona el flujo de datos en paralelo para sincronizar los datos más rápidamente, mientras que SubQuery introduce la fragmentación de nodos para acelerar el proceso de sincronización.

Redes compatibles

Aunque la mayoría de las actividades de blockchain todavía se llevan a cabo en Ethereum, con el tiempo, diferentes blockchains están ganando popularidad. Por ejemplo, Layer 2s, Solana, la cadena de bloques Move y la cadena de bloques del ecosistema de Bitcoin tienen su propio conjunto de desarrolladores y actividades en constante crecimiento, lo que también requiere servicios de indexación.

Proporcionar soporte para ciertas cadenas que no son compatibles con otros protocolos de indexación puede obtener más cuota de mercado y tarifas. Indexar redes con datos intensivos (como Solana) no es fácil y hasta ahora solo Subsquid ha tenido éxito en proporcionarles soporte de indexación.

Conclusión

A pesar de que los indexadores son ampliamente utilizados en el desarrollo de dApp, todavía tienen un gran potencial, especialmente cuando se integran con IA. Con la creciente popularidad de la IA en Web2 y Web3, su capacidad de mejora depende del acceso a datos relevantes para entrenar modelos y desarrollar agentes de IA. Garantizar la integridad de los datos es crucial para las aplicaciones de IA, ya que puede evitar que los modelos se vean afectados por información sesgada o inexacta.

En el campo de las soluciones de indexación, Subsquid ha logrado importantes avances en rendimiento e indicadores de usuario. Los usuarios han comenzado a experimentar con la construcción de agentes de inteligencia artificial utilizando Subsquid, demostrando la versatilidad y el potencial de la plataforma en el campo de la indexación de datos en constante evolución. Además, herramientas como AutoAgora ayudan a los indexadores a utilizar la inteligencia artificial para proporcionar precios dinámicos para los servicios de consulta en The Graph, mientras que SubQuery admite múltiples redes de inteligencia artificial (como OriginTrail y Oraichain) para lograr una indexación de datos transparente.

La integración de la inteligencia artificial y el indexador tiene el potencial de mejorar la accesibilidad y disponibilidad de datos en el ecosistema de blockchain. Al utilizar la tecnología de inteligencia artificial, el indexador puede proporcionar búsquedas de datos más eficientes y precisas, lo que permite a los desarrolladores construir dApps y herramientas de análisis más complejas. A medida que la inteligencia artificial y el indexador continúan su desarrollo conjunto, mantenemos una actitud optimista hacia el futuro de la indexación de datos y su papel en la formación del patrón digital descentralizado.