データソースからスマート分析へ:ブロックチェーンデータインデックス技術の進化

1. はじめに

2017年に最初の分散型アプリケーション(dApp)が誕生して以来、ブロックチェーンアプリケーションエコシステムは急速に発展しています。これらのdAppについて議論する際、私たちはそれらが使用しているさまざまなデータの出所について考えたことがあるでしょうか？

2024年、人工知能とWeb3が人気の話題となります。AI分野では、データはその成長と進化の源泉です。植物が太陽光と水分を必要とするように、AIシステムも大量のデータに依存して絶えず学習し、考え続けます。データの支えがなければ、どんなに高度なAIアルゴリズムもその潜在能力を発揮することは難しいです。

本文はブロックチェーンデータの可アクセス性の観点から、業界発展過程におけるデータインデックスの進化を深く分析し、従来のデータインデックスプロトコルと新興のブロックチェーンデータサービスプロトコルを比較し、AI技術を組み合わせた新しいプロトコルのデータサービスと製品アーキテクチャにおける特徴を探討します。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

2. データインデックスの進化: ブロックチェーンノードから全チェーンデータベースへ

2.1 データソース:ブロックチェーンノード

ブロックチェーンは、分散型の台帳としてしばしば説明されます。ブロックチェーンノードは、ネットワーク全体の基盤であり、すべてのチェーン上の取引データを記録、保存、伝播する役割を担っています。各ノードは完全なブロックチェーンデータのコピーを所有し、ネットワークの分散化された特性を維持します。しかし、一般ユーザーにとって、ノードを自ら構築し維持することは容易ではなく、専門的な技術が必要なだけでなく、高額なコストも伴います。同時に、一般ノードのクエリ能力は限られており、開発者のニーズを満たすことができません。そのため、ユーザーは通常、第三者のサービスに依存します。

この問題を解決するために、RPCノードプロバイダーが登場しました。彼らはノード管理を担当し、RPCエンドポイントを通じてデータアクセスを提供します。公共RPCエンドポイントは無料ですが、レート制限があり、dAppユーザーエクスペリエンスに影響を与える可能性があります。プライベートRPCエンドポイントはより良いパフォーマンスを提供しますが、複雑なクエリには効率が悪く、スケーラビリティが難しいです。しかし、ノードプロバイダーの標準APIインターフェースは、ユーザーがブロックチェーン上のデータにアクセスするためのハードルを下げ、今後のデータアプリケーションの基盤を築きました。

2.2 データ解析:原始データから利用可能なデータへ

ブロックチェーンノードが提供する原始データは通常、暗号化およびエンコード処理されています。これらのデータはブロックチェーンの完全性と安全性を保持していますが、解析の難易度が増します。一般のユーザーや開発者にとって、これらのデータを直接処理するには大量の技術知識と計算リソースが必要です。

データ解析プロセスはこの背景の下で特に重要です。複雑な生データをより理解しやすく操作しやすい形式に変換することで、ユーザーはこれらのデータをより直感的に活用できます。解析の質はブロックチェーンデータアプリケーションの効率と効果に直接影響し、データインデックスプロセス全体の中で重要なステップです。

2.3 データインデクサの発展

ブロックチェーンデータの量が増加するにつれて、データインデクサーの需要がますます高まっています。インデクサーは、チェーン上のデータを整理し、クエリのためにデータベースに送信する役割を担っています。彼らはブロックチェーンデータをインデックス化し、GraphQL(のようなSQLクエリ言語)を提供するAPIインターフェースを通じて、データをいつでも利用可能にします。インデクサーは開発者に統一されたクエリインターフェースを提供し、データ取得プロセスを大幅に簡素化します。

異なるタイプのインデクサは、データの検索方法を最適化するさまざまな方法を持っています:

1. フルノードインデクサー: フルノードから直接データを抽出し、データの完全性を保証しますが、大量のストレージと処理能力が必要です。
2. 軽量インデクサ: 完全ノードに依存して特定のデータをオンデマンドで取得し、ストレージの要求を減少させるが、クエリ時間が増加する可能性がある。
3. 専用インデクサー: 特定の種類のデータやブロックチェーンを最適化するため、NFTデータやDeFi取引など。
4. アグリゲーター: 複数のブロックチェーンとソースからデータを抽出し、オフチェーン情報を含む、統一されたクエリインターフェースを提供し、マルチチェーンdAppに適しています。

現在、イーサリアムのアーカイブノードは異なるクライアント間でのストレージ要件に大きな差異があります。膨大なデータ量に直面して、主流のインデクサープロトコルはマルチチェーンインデックスをサポートするだけでなく、異なるアプリケーションのニーズに応じてデータ解析フレームワークもカスタマイズしています。

インデクサの登場は、データのインデックス作成とクエリ効率を大幅に向上させました。従来のRPCエンドポイントと比較して、インデクサは大量のデータを効率的にインデックス化し、高速かつ複雑なクエリとデータフィルタリングをサポートします。一部のインデクサは、複数のブロックチェーンのデータソースを集約することもサポートしており、マルチチェーンdAppが複数のAPIを展開する必要がある問題を回避します。分散型の運用は、より強力なセキュリティとパフォーマンスを提供し、集中型RPCプロバイダーがもたらす可能性のあるリスクを軽減します。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

2.4 全チェーンデータベース:フロー優先に整合する

インデックスノードを使用してデータを照会することは、通常、APIをブロックチェーン上のデータを消化する唯一のポータルとして扱います。しかし、プロジェクトが拡張段階に入ると、柔軟なデータソースが必要になることがよくあります。アプリケーションの要求が複雑化するにつれて、初級データインデクサーは、検索、クロスチェーンアクセス、またはオフチェーンデータマッピングなどの多様なクエリ要求を満たすのが難しいです。

現代のデータパイプラインアーキテクチャにおいて、「ストリームファースト」アプローチは、従来のバッチ処理の限界を解決するためのソリューションとなり、リアルタイムデータ処理と分析を実現します。ブロックチェーンデータサービスプロバイダーもデータストリームの構築に向けて進展し、データストリーム方式でリアルタイムのブロックチェーンデータを取得する製品を発表しました。

これらのサービスは、ブロックチェーン取引のリアルタイム解析と包括的な照会機能のニーズを解決することを目的としています。現代のデータパイプラインの視点からオンチェーンデータの課題を再定義することで、オンチェーンデータ管理、ストレージ、および提供の可能性を新しい視点から見ることができました。

3. AIとデータベースの組み合わせ:グラフ、チェーンベース、空間と時間の比較

3.1 ザ・グラフ

The Graphネットワークは、分散化されたノードネットワークを通じてマルチチェーンデータのインデックス作成とクエリサービスを実現し、開発者がブロックチェーンデータをインデックスし、dAppを構築するのを容易にします。その主な製品モデルには、データクエリ実行マーケットとデータインデックスキャッシュマーケットが含まれ、ユーザーの製品クエリニーズに応えます。

サブグラフはThe Graphネットワークの基礎データ構造であり、ブロックチェーンからデータを抽出し、クエリ可能な形式に変換する方法を定義します。ネットワークはインデクサー、キュレーター、委任者、開発者の4つの重要な役割で構成されており、経済的インセンティブを通じてシステムの運営を確保しています。

The Graphの製品もAIの波の中で急速に発展しています。Semiotic Labsが開発したAutoAgora、Allocation Optimizer、AgentCなどのツールは、それぞれ価格戦略、リソース配分、ユーザー体験を最適化し、システムのインテリジェンスとユーザーフレンドlinessを向上させました。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

3.2 チェインベース

Chainbaseは全ブロックデータネットワークであり、すべてのブロックチェーンデータを1つのプラットフォームに統合しています。その特徴には次のようなものがあります:

• リアルタイムデータレイク: ブロックチェーンデータストリーム専用のリアルタイムデータレイクを提供します。
• ダブルチェーンアーキテクチャ: Eigenlayer AVSに基づいて実行層を構築し、CometBFTコンセンサスアルゴリズムと並行アーキテクチャを形成します。
• 革新的なデータフォーマット標準: "manuscripts"データフォーマット標準を導入。
• 暗号世界モデル:AIモデル技術を組み合わせて、ブロックチェーン取引を理解し、予測できるAIモデルTheiaを構築します。

ChainbaseのAIモデルTheiaは、NVIDIAのDORAモデルに基づき、オンチェーンとオフチェーンのデータ分析暗号化モデルを組み合わせて、ユーザーにインテリジェントなデータサービスを提供します。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

3.3 スペースとタイム

Space and Time (SxT)は、検証可能な計算レイヤーの構築に取り組んでおり、分散型データウェアハウス上でゼロ知識証明を拡張します。その革新的な技術Proof of SQLは、SQLクエリの改ざん防止と検証可能性を保証し、データの信頼性が高く求められる業界にソリューションを提供します。

SxTはマイクロソフトAI共同イノベーションラボと提携し、ユーザーが自然言語処理を通じてブロックチェーンデータを扱いやすくする生成的AIツールを開発しています。ユーザーはSpace and Time StudioでAIが自動的に自然言語をSQLに変換してクエリを実行する体験ができます。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

結論と展望

ブロックチェーンデータインデックス技術は、最初のノードデータソースから、データ解析とインデクサーの発展を経て、最終的にAIによる全チェーンデータサービスへと進化し、段階的に改善されてきました。これらの技術の進化は、データアクセスの効率と正確性を向上させただけでなく、スマートな体験をもたらしました。

未来、AI技術やゼロ知識証明などの新技術の発展に伴い、ブロックチェーンデータサービスはさらにスマートで安全になります。インフラとして、ブロックチェーンデータサービスは引き続き業界の進歩と革新を支援します。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明