ブロックチェーンデータインデックス技術の進化:ノードからAI駆動の全チェーンサービスへ

1. はじめに

2017年に最初のブロックチェーンアプリケーションが登場して以来、現在ではさまざまなブロックチェーンに基づく金融、ゲーム、ソーシャルアプリケーションが多様に展開されていますが、私たちはこれらのアプリケーションが相互作用の中で使用しているさまざまなデータの出所について考えたことがありますか？

2024年、人工知能とWeb3がホットな話題となります。AI分野では、データがその発展の基盤です。植物が太陽と水を必要とするように、AIシステムも膨大なデータに依存して継続的に学習し進化します。データがなければ、どんなに巧妙なAIアルゴリズムでも、その本来の知能と効率を発揮することは難しいのです。

この記事では、ブロックチェーンデータの可用性の発展の歴史を深く探り、業界におけるデータインデックスの進化を分析し、従来のインデックスプロトコルと新興データサービスプロトコルの技術的な特徴の違いを比較します。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

2. データインデックスの進化: ブロックチェーンノードから全チェーンデータベースへ

2.1 データソース:ブロックチェーンノード

ブロックチェーンは分散型の台帳であり、ノードはネットワーク全体の基盤を形成し、すべての取引データの記録、保存、伝播を担当しています。各ノードは完全なブロックチェーンデータのコピーを持ち、ネットワークの分散型特性を維持します。しかし、一般のユーザーがノードを自分で構築し、維持することは容易ではなく、専門的な技術だけでなく、高額なハードウェアと帯域幅のコストも必要です。一般的なノードのクエリ能力も限られており、開発者のニーズを満たすことが難しいです。そのため、ユーザーはしばしば第三者サービスに依存します。

RPCノードプロバイダーが登場し、ノード管理を担当し、RPCエンドポイントを通じてデータを提供します。これにより、ユーザーは自前のノードを構築することなく、ブロックチェーンデータにアクセスできるようになります。公共RPCエンドポイントは無料ですが、速度制限があります。プライベートRPCエンドポイントはパフォーマンスが優れていますが、効率は依然として高くありません。それにもかかわらず、ノードプロバイダーの標準化されたAPIインターフェースは、ユーザーがオンチェーンデータにアクセスするハードルを下げ、データ解析とアプリケーションの基礎を築いています。

2.2 データ解析:生データから利用可能なデータへ

ブロックチェーンノードが提供する原始データは通常、暗号化およびエンコード処理が行われており、完全性と安全性が保証されていますが、解析の難易度も増しています。一般のユーザーや開発者にとって、これらのデータを直接処理するには大量の技術的知識と計算リソースが必要です。

データ解析プロセスはこのため非常に重要になります。複雑な原始データを理解しやすく操作しやすい形式に変換することで、ユーザーはこれらのデータをより直感的に活用できるようになります。解析の質はブロックチェーンデータアプリケーションの効率と効果に直接影響し、全体のデータインデックスプロセスにおける重要な要素です。

2.3 データインデクサの進化

ブロックチェーンのデータ量が増加するにつれて、データインデクサの需要が高まっています。インデクサは、チェーン上のデータを整理し、それをデータベースに送信してクエリを行う上で重要な役割を果たします。彼らはブロックチェーンデータをインデックス化し、SQLに似たクエリ言語インターフェース(やGraphQL API)を提供することで、データをいつでも利用可能にします。この統一されたクエリインターフェースは、開発者が必要な情報を取得するプロセスを大幅に簡素化します。

異なるタイプのインデクサーは、さまざまな方法でデータの検索を最適化します:

1. 完全ノードインデクサ: 完全なブロックチェーンノードからデータを直接抽出し、完全かつ正確であることを保証しますが、大量のストレージと処理能力が必要です。
2. 軽量インデクサ: 完全ノードに依存して特定のデータをオンデマンドで取得し、ストレージ要件を削減するが、クエリ時間が増加する可能性がある。
3. 専用インデクサー: 特定の種類のデータまたはブロックチェーンの最適化された検索、例えばNFTデータやDeFi取引。
4. アグリゲーター: 複数のブロックチェーンやソースからデータを抽出し、オフチェーン情報を含む、統一されたクエリインターフェースを提供し、マルチチェーンアプリケーションに適しています。

現在、イーサリアムのアーカイブノードは、異なるクライアントで3-13.5 TBのストレージスペースを占有しています。このような膨大なデータ量に直面して、主流のインデクサプロトコルはマルチチェインインデクシングをサポートするだけでなく、さまざまなアプリケーションのニーズに応じてデータ解析フレームワークをカスタマイズしています。

従来のRPCエンドポイントと比べて、インデクサーはデータのインデックス作成とクエリ効率を大幅に向上させました。複雑なクエリ、データフィルタリング、抽出後の分析をサポートしています。一部のインデクサーは、複数のブロックチェーンのデータソースを集約することもサポートしており、マルチチェーンアプリケーションが複数のAPIをデプロイする必要がある問題を回避します。分散型での運用により、インデクサーはより強力なセキュリティとパフォーマンスを提供し、集中型RPCプロバイダーがもたらす可能性のあるリスクを軽減します。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

2.4 全チェーンデータベース:ストリーム優先に整列

アプリケーションの需要が複雑化するにつれて、初級データインデクサーは、検索、クロスチェーンアクセス、またはオフチェーンデータマッピングなど、ますます多様化するクエリ要件を満たすことが困難になっています。現代のデータパイプラインアーキテクチャにおいて、「ストリームファースト」アプローチは、従来のバッチ処理の限界を解決するためのソリューションとなり、リアルタイムデータ処理と分析を実現します。

ブロックチェーンデータサービスプロバイダーもデータストリームの構築に向けて進展しています。従来のインデクサーサービスプロバイダーは、The GraphのSubstreamsやGoldskyのMirrorなどのリアルタイムブロックチェーンデータストリーム製品を発表しました。また、ChainbaseやSubSquidのようにブロックチェーンに基づいて生成されたデータストリームのリアルタイムデータレイクも存在します。

これらのサービスは、リアルタイムでブロックチェーン取引を解析し、より包括的なクエリ能力を提供するニーズを解決することを目的としています。モダンなデータパイプラインの視点からオンチェーンデータ管理を再定義することで、あらゆるビジネスケースに合わせた高性能データセットの未来を想像することができます。

3. AI + Database: The Graph、Chainbase、Space and Timeの比較

3.1 グラフ

The Graphネットワークは、去中心化ノードを通じてマルチチェーンデータのインデックスおよびクエリサービスを提供します。主な製品モデルには、データクエリ実行マーケットおよびデータインデックスキャッシュマーケットが含まれ、ユーザーの製品クエリニーズに応えています。

サブグラフ(はThe Graphネットワークの基盤データ構造であり、ブロックチェーンからデータを抽出し、クエリ可能な形式に変換する方法を定義しています。ネットワークはインデクサー、キュレーター、委任者、開発者の4つの役割で構成され、共にweb3アプリケーションのデータニーズをサポートします。

The Graphの製品もAIの波の中で急速に発展しています。Semiotic Labsが開発したAutoAgora、Allocation Optimizer、AgentCツールはそれぞれ価格戦略、リソース配分、ユーザー体験を最適化し、システムのインテリジェンスとユーザーフレンドリーさを向上させました。

! [読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明])https://img-cdn.gateio.im/webp-social/moments-cf9a002b9b094fbbe3be7f611001b5c1.webp(

) 3.2 チェーンベース

Chainbaseは、すべてのブロックチェーンデータを1つのプラットフォームに統合する全チェーンデータネットワークです。その特徴には、

• リアルタイムデータレイク: ブロックチェーンデータストリーム専用のリアルタイムデータレイクを提供します。
• デュアルチェーンアーキテクチャ: Eigenlayer AVSに基づいて実行層を構築し、CometBFTコンセンサスアルゴリズムと並列アーキテクチャを形成します。
• 革新的なデータフォーマット標準: "manuscripts"データフォーマット標準を導入。
• 暗号世界モデル:AI技術を組み合わせて、ブロックチェーン取引を理解し、予測できるモデルを構築します。

ChainbaseのAIモデルTheiaは、NVIDIAのDORAモデルに基づいており、チェーン上の外部データと時空間活動を分析し、ユーザーにインテリジェントなデータサービスを提供します。

! [読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明]###https://img-cdn.gateio.im/webp-social/moments-b343cab5112c1a3d52f4e72122ae0df2.webp(

) 3.3 スペースとタイム

Space and Time ###SxT(は、検証可能な計算層を構築することに専念しており、分散型データウェアハウス上でゼロ知識証明を拡張します。そのコア技術であるProof of SQLは、SQLクエリの改ざん防止と検証可能性を確保し、データ検証に高効率なソリューションを提供します。

SxTはマイクロソフトAI共同革新ラボと協力して、ユーザーが自然言語処理によってブロックチェーンデータを扱える生成型AIツールを開発しました。Space and Time Studioでは、AIが自然言語をSQLに変換し、クエリを実行できます。

! [読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明])https://img-cdn.gateio.im/webp-social/moments-97443cbd177ac4ffd1665da670ffbf12.webp(

結論と展望

ブロックチェーンデータインデックス技術は、最初のノードデータソースからデータ解析とインデクサーの発展を経て、最終的にAIを活用した全チェーンデータサービスへと進化し、段階的に改善されるプロセスを経ました。これらの技術の進歩は、データアクセスの効率と正確性を向上させるだけでなく、インテリジェントな体験をもたらしました。

未来、AI技術やゼロ知識証明などの新技術の発展に伴い、ブロックチェーンデータサービスはさらにインテリジェント化とセキュリティ向上が進むでしょう。インフラとして、ブロックチェーンデータサービスは引き続き業界の革新を支援します。

! [読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明])https://img-cdn.gateio.im/webp-social/moments-0742180b7da8a9dcddafc465a4dba9cb.webp(