De la source de données à l'analyse intelligente : l'évolution de la technologie d'indexation des données Blockchain

1. Introduction

Depuis la naissance des premières applications décentralisées ( dApp ) en 2017, l'écosystème des applications Blockchain a prospéré. En discutant de ces dApp, avons-nous déjà réfléchi à la source des diverses données qu'elles utilisent ?

En 2024, l'intelligence artificielle et le Web3 deviennent des sujets populaires. Dans le domaine de l'IA, les données sont comme la source de sa croissance et de son évolution. Tout comme les plantes ont besoin de lumière du soleil et d'eau, les systèmes d'IA dépendent également d'un volume massif de données pour continuer à apprendre et à réfléchir. Sans le soutien des données, même les algorithmes d'IA les plus avancés ont du mal à réaliser leur potentiel.

Cet article analysera en profondeur l'évolution de l'indexation des données dans le processus de développement de l'industrie, du point de vue de l'accessibilité des données sur la blockchain, et comparera les protocoles d'indexation de données traditionnels avec les nouveaux protocoles de services de données blockchain, tout en explorant les caractéristiques des nouveaux protocoles intégrant la technologie AI en matière de services de données et d'architecture de produits.

2. L'évolution de l'indexation des données : des nœuds Blockchain à la base de données complète

2.1 Source de données : nœuds Blockchain

La blockchain est souvent décrite comme un livre de comptes décentralisé. Les nœuds de blockchain constituent la base de l'ensemble du réseau, responsables de l'enregistrement, du stockage et de la propagation de toutes les données de transaction sur la chaîne. Chaque nœud possède une copie complète des données de la blockchain, maintenant ainsi la caractéristique décentralisée du réseau. Cependant, pour les utilisateurs ordinaires, construire et maintenir un nœud n'est pas une tâche facile, nécessitant non seulement une expertise technique, mais aussi des coûts élevés. De plus, la capacité de requête des nœuds ordinaires est limitée, ne pouvant pas répondre aux besoins des développeurs. Par conséquent, les utilisateurs dépendent généralement de services tiers.

Pour résoudre ce problème, les fournisseurs de nœuds RPC ont vu le jour. Ils sont responsables de la gestion des nœuds et fournissent un accès aux données via des points de terminaison RPC. Les points de terminaison RPC publics sont gratuits mais soumis à des limites de taux, ce qui peut affecter l'expérience des utilisateurs de dApp. Les points de terminaison RPC privés offrent de meilleures performances, mais sont inefficaces pour des requêtes complexes et difficiles à évoluer. Cependant, l'interface API standard des fournisseurs de nœuds abaisse le seuil d'accès des utilisateurs aux données en chaîne, posant ainsi les bases pour des applications de données ultérieures.

2.2 Analyse des données : des données brutes aux données utilisables

Les données brutes fournies par les nœuds de la Blockchain sont généralement traitées par cryptage et codage. Bien que ces données conservent l'intégrité et la sécurité de la Blockchain, elles augmentent la difficulté d'analyse. Pour les utilisateurs ordinaires ou les développeurs, traiter ces données directement nécessite une grande connaissance technique et des ressources de calcul.

Le processus d'analyse des données est particulièrement important dans ce contexte. En transformant des données brutes complexes en un format plus compréhensible et manipulable, les utilisateurs peuvent tirer parti de ces données de manière plus intuitive. La qualité de l'analyse influence directement l'efficacité et l'efficacité des applications de données Blockchain, ce qui en fait un maillon clé de l'ensemble du processus d'indexation des données.

2.3 Développement de l'indexeur de données

Avec l'augmentation du volume de données sur la blockchain, la demande d'indexeurs de données augmente. Les indexeurs sont responsables de l'organisation des données sur la chaîne et de leur envoi à une base de données pour consultation. Ils indexent les données de la blockchain et fournissent des interfaces API avec des langages de requête de type SQL comme GraphQL(, rendant les données disponibles à tout moment. Les indexeurs offrent aux développeurs une interface de requête unifiée, simplifiant considérablement le processus de récupération des données.

Différents types d'indexeurs optimisent les méthodes de récupération des données de manière différente :

1. Indexeur de nœuds complets : extrait directement les données du nœud complet, garantissant l'intégrité des données, mais nécessitant une grande capacité de stockage et de traitement.
2. Indexeur léger : s'appuie sur des nœuds complets pour obtenir des données spécifiques à la demande, réduisant les besoins de stockage mais pouvant augmenter le temps de requête.
3. Indexeur dédié : optimisé pour des types de données spécifiques ou des blockchains, comme les données NFT ou les transactions DeFi.
4. Agrégateur d'index: extrait des données de plusieurs blockchains et sources, y compris les informations hors chaîne, et fournit une interface de requête unifiée, adaptée aux dApp multi-chaînes.

Actuellement, les exigences de stockage des nœuds d'archive Ethereum varient considérablement selon les clients. Face à un volume de données énorme, les protocoles d'indexation dominants soutiennent non seulement l'indexation multi-chaînes, mais ont également personnalisé des cadres de解析 des données en fonction des besoins des différentes applications.

L'apparition des indexeurs a considérablement amélioré l'efficacité de l'indexation et des requêtes de données. Comparé aux points de terminaison RPC traditionnels, les indexeurs peuvent indexer efficacement un grand volume de données, prenant en charge des requêtes complexes à grande vitesse et le filtrage des données. Certains indexeurs prennent également en charge l'agrégation de plusieurs sources de données de Blocchains, évitant ainsi les problèmes de déploiement de plusieurs API pour les dApps multi-chaînes. Le fonctionnement distribué offre une sécurité et des performances renforcées, réduisant les risques potentiels associés aux fournisseurs RPC centralisés.

![Lire, indexer pour analyser, un aperçu du domaine d'indexation des données Web3])https://img-cdn.gateio.im/webp-social/moments-587ce87f6dbedee4acec7d939fed6980.webp(

) 2.4 Base de données Blockchain : alignement prioritaire au flux

L'utilisation des nœuds d'index pour interroger des données fait généralement de l'API le seul portail pour digérer les données sur la Blockchain. Cependant, lorsque les projets entrent dans une phase d'expansion, il est souvent nécessaire de disposer de sources de données plus flexibles. Avec la complexité croissante des besoins des applications, les indexeurs de données de base ont du mal à répondre à des besoins de requêtes diversifiés, tels que la recherche, l'accès inter-chaînes ou la cartographie des données hors chaîne.

Dans l'architecture moderne des pipelines de données, la méthode "priorité au flux" est devenue une solution pour surmonter les limitations du traitement par lots traditionnel, permettant le traitement et l'analyse des données en temps réel. Les fournisseurs de services de données Blockchain se dirigent également vers la construction de flux de données, lançant des produits permettant d'obtenir des données Blockchain en temps réel sous forme de flux de données.

Ces services visent à répondre à la demande d'analyse en temps réel des transactions Blockchain et de fournir des capacités de recherche complètes. En redéfinissant les défis des données on-chain à travers le prisme des pipelines de données modernes, nous pouvons envisager le potentiel de gestion, de stockage et de fourniture des données on-chain sous un nouvel angle.

3. Combinaison de l'IA et des bases de données : Comparaison de The Graph, Chainbase et Space and Time

3.1 The Graph

Le réseau The Graph réalise des services d'indexation et de requête de données multi-chaînes grâce à un réseau de nœuds décentralisés, facilitant l'indexation des données de la blockchain par les développeurs et la construction de dApps. Ses principaux modèles de produits incluent un marché d'exécution de requêtes de données et un marché de cache d'index de données, servant les besoins de requête de produits des utilisateurs.

Le sous-graphe est la structure de données fondamentale du réseau The Graph, définissant comment extraire et transformer les données de la Blockchain en un format interrogeable. Le réseau est constitué de quatre rôles clés : les indexeurs, les curateurs, les délégataires et les développeurs, assurant le fonctionnement du système grâce à des incitations économiques.

Les produits de The Graph se développent rapidement dans la vague de l'IA. Les outils développés par Semiotic Labs, tels que AutoAgora, Allocation Optimizer et AgentC, optimisent respectivement les stratégies de tarification, l'allocation des ressources et l'expérience utilisateur, améliorant ainsi l'intelligence du système et sa convivialité.

![Lire, indexer pour analyser, un aperçu de la piste d'indexation des données Web3]###https://img-cdn.gateio.im/webp-social/moments-cf9a002b9b094fbbe3be7f611001b5c1.webp(

) 3.2 Chainbase

Chainbase est un réseau de données tout-en-un, intégrant toutes les données de blockchain sur une seule plateforme. Ses caractéristiques incluent :

• Lac de données en temps réel : fournit un lac de données en temps réel spécialement conçu pour les flux de données Blockchain.
• Architecture à double chaîne : couche d'exécution construite sur Eigenlayer AVS, formant une architecture parallèle avec l'algorithme de consensus CometBFT.
• Norme de format de données innovante : introduction de la norme de format de données "manuscripts".
• Modèle du monde cryptographique : en associant la technologie des modèles d'IA, créer un modèle d'IA Theia capable de comprendre et de prédire les transactions Blockchain.

Le modèle AI Theia de Chainbase est basé sur le modèle DORA de NVIDIA, combinant l'analyse des données on-chain et off-chain pour fournir des services de données intelligents aux utilisateurs.

![Lire, indexer pour analyser, aperçu de la piste d'indexation des données Web3]###https://img-cdn.gateio.im/webp-social/moments-b343cab5112c1a3d52f4e72122ae0df2.webp(

) 3.3 Espace et Temps

Space and Time ###SxT( s'engage à créer une couche de calcul vérifiable, en étendant les preuves à zéro connaissance sur un entrepôt de données décentralisé. Sa technologie innovante Proof of SQL garantit l'intégrité et la vérifiabilité des requêtes SQL, offrant des solutions pour les secteurs ayant des exigences élevées en matière de fiabilité des données.

SxT collabore avec le laboratoire d'innovation AI de Microsoft pour développer des outils d'IA générative, facilitant aux utilisateurs le traitement des données Blockchain par le langage naturel. Les utilisateurs peuvent expérimenter dans Space and Time Studio comment l'IA convertit automatiquement le langage naturel en SQL et exécute des requêtes.

![Lire, indexer pour analyser, résumé du secteur d'indexation des données Web3])https://img-cdn.gateio.im/webp-social/moments-97443cbd177ac4ffd1665da670ffbf12.webp(

Conclusion et perspectives

La technologie d'indexation des données de la Blockchain a évolué depuis les sources de données des nœuds initiaux, à travers le développement de l'analyse des données et des indexeurs, pour finalement aboutir à un service de données sur l'ensemble de la chaîne alimenté par l'IA, ayant connu un processus d'amélioration progressive. Cette évolution technologique a non seulement amélioré l'efficacité et la précision de l'accès aux données, mais a également apporté une expérience intelligente.

À l'avenir, avec le développement de nouvelles technologies telles que l'IA et la preuve à divulgation nulle de connaissance, les services de données Blockchain deviendront encore plus intelligents et sécurisés. En tant qu'infrastructure, les services de données Blockchain continueront de soutenir les avancées et l'innovation dans l'industrie.

![Lire, indexer pour analyser, un aperçu de la piste d'indexation des données Web3])https://img-cdn.gateio.im/webp-social/moments-0742180b7da8a9dcddafc465a4dba9cb.webp(