区块链数据索引技术的演进：从节点到AI赋能的全链数据服务

1 引言

自2017年第一批dApp诞生以来，区块链应用已经蓬勃发展，涵盖金融、游戏和社交等多个领域。在讨论去中心化应用时，我们是否曾思考过这些dApp所使用的数据来源？

2024年，AI与Web3成为热点话题。在人工智能领域，数据如同生命之源，对AI系统的成长和进化至关重要。正如植物需要阳光和水分才能茁壮成长，AI系统同样依赖海量数据来不断"学习"和"思考"。没有数据支持，再精妙的AI算法也难以发挥其应有的智能与效能。

本文将从区块链数据可访问性的角度，深入分析行业发展过程中区块链数据索引的演变历程。我们还将对比老牌数据索引协议与新兴的区块链数据服务协议，特别关注结合AI技术的新晋协议在数据服务与产品架构特色方面的异同。

2 数据索引的繁与简：从区块链节点到全链数据库

2.1 数据源头：区块链节点

区块链常被描述为去中心化的记账本。区块链节点是整个网络的基础，负责记录、存储和传播链上所有交易数据。每个节点都保存完整的区块链数据副本，确保网络的去中心化特性。然而，对普通用户来说，自建和维护节点并非易事，不仅需要专业技能，还伴随着高昂的硬件和带宽成本。普通节点的查询能力也有限，难以满足开发人员的需求。因此，尽管理论上人人都可以运行节点，但实际上用户更倾向于依赖第三方服务。

为解决这一问题，RPC节点提供商应运而生。这些提供商负责节点的成本和管理，并通过RPC端点提供数据服务。用户无需自建节点即可轻松访问区块链数据。公共RPC端点免费但有速率限制，可能影响dApp的用户体验。私有RPC端点提供更好的性能，但对于复杂查询效率较低，且难以扩展和跨网络兼容。尽管如此，节点提供商标准化的API接口降低了用户访问链上数据的门槛，为后续的数据解析和应用奠定了基础。

2.2 数据解析：从原型数据到可用数据

从区块链节点获取的数据通常是经过加密和编码处理的原始数据。这些数据虽然保证了区块链的完整性和安全性，但也增加了数据解析的难度。对普通用户或开发者而言，直接处理这些原型数据需要大量技术知识和计算资源。

数据解析过程在这一背景下显得尤为重要。通过将复杂的原型数据转换为更易理解和操作的格式，用户可以更直观地理解和利用这些数据。数据解析的效果直接影响区块链数据应用的效率和效果，是整个数据索引流程中的关键环节。

2.3 数据索引器的演进

随着区块链数据量增加，数据索引器的需求日益增长。索引器在组织链上数据并将其发送到数据库以便查询方面发挥着重要作用。索引器通过索引区块链数据并提供类似SQL的查询语言（如GraphQL API）使数据随时可用。通过提供统一的查询接口，索引器允许开发人员使用标准化查询语言快速准确地检索所需信息，大大简化了流程。

不同类型的索引器通过各种方式优化数据检索：

1. 完整节点索引器：直接从完整区块链节点提取数据，确保数据完整准确，但需要大量存储和处理能力。
2. 轻量级索引器：依靠完整节点根据需要获取特定数据，减少存储需求但可能增加查询时间。
3. 专用索引器：针对特定类型数据或特定区块链优化，如NFT数据或DeFi交易。
4. 聚合索引器：从多个区块链和来源提取数据，包括链下信息，提供统一查询接口，特别适用于多链dApp。

目前，以太坊档案节点在Geth客户端中占用约13.5 TB存储空间，而在Erigon客户端下约为3 TB。随着区块链增长，档案节点的数据存储量将持续增加。面对如此庞大的数据量，主流索引器协议不仅支持多链索引，还针对不同应用的数据需求定制了数据解析框架。

索引器的出现大大提升了数据的索引和查询效率。与传统RPC端点相比，索引器可高效索引大量数据，支持高速查询。用户可执行复杂查询，轻松过滤数据，并进行提取后分析。一些索引器还支持聚合多个区块链的数据源，避免多链dApp需部署多个API的问题。通过分布式运行，索引器提供更强的安全性和性能，减少了集中式RPC提供商可能带来的中断风险。

相比之下，索引器通过预定义的查询语言，使用户无需处理底层复杂数据即可直接获取所需信息。这种机制显著提高了数据检索的效率和可靠性，是区块链数据访问的重要创新。

2.4 全链数据库：向流优先对齐

使用索引节点查询数据通常意味着API成为处理链上数据的唯一入口。然而，当项目进入扩展阶段时，往往需要更灵活的数据源，而标准化API难以满足这一需求。随着应用需求复杂化，初级数据索引器及其标准化索引格式逐渐难以满足日益多样化的查询需求，如搜索、跨链访问或链下数据映射。

在现代数据管道架构中，"流优先"方法成为解决传统批处理局限性的方案，实现实时数据摄取、处理和分析。这种范式转变使组织能够立即响应传入数据，几乎实时地得出洞察并做出决策。类似地，区块链数据服务提供商也朝着构建区块链数据流的方向发展，传统索引器服务商陆续推出了以数据流方式获取实时区块链数据的产品。

这些服务旨在解决对区块链交易进行实时解析和提供更全面查询能力的需求。正如"流优先"架构通过降低延迟和增强响应能力革新了传统数据管道中的数据处理方式，这些区块链数据流服务商也希望通过更先进且成熟的数据源，支持更多应用程序的发展并辅助链上数据分析。

通过现代数据管道的视角重新定义链上数据的挑战，我们得以从全新角度看待链上数据的管理、存储和提供的潜力。当我们开始将子图和以太坊ETL等索引器视为数据管道中的数据流而非最终输出时，便可以设想一个能为任何业务用例量身定制高性能数据集的可能世界。

3 深入对比The Graph、Chainbase和Space and Time

3.1 The Graph

The Graph网络通过去中心化节点网络实现多链数据索引和查询服务，便于开发者索引区块链数据并构建去中心化应用。其主要产品模式包括数据查询执行市场和数据索引缓存市场，本质上都服务于用户的产品查询需求。

子图是The Graph网络中的基础数据结构，定义了如何从区块链中提取并转换数据为可查询的格式。任何人都可以创建子图，多个应用可重复使用这些子图，提升了数据可复用性和使用效率。

The Graph网络由索引器、策展人、委托人和开发者四个关键角色构成，共同为Web3应用提供数据支持。目前，The Graph已转向全面的去中心化子图托管服务，不同参与方之间有流通的经济激励确保系统运转。

The Graph的产品也在AI浪潮中迅速发展。Semiotic Labs开发的AutoAgora、Allocation Optimizer和AgentC工具分别在多个方面提升了生态系统的性能。这些工具的应用使The Graph结合AI辅助进一步提升了系统的智能化和用户友好度。

3.2 Chainbase

Chainbase是一个全链数据网络，将所有区块链数据整合到一个平台，方便开发者更轻松地构建和维护应用程序。其独特功能包括：

• 实时数据湖：提供专门用于区块链数据流的实时数据湖，使数据在生成时即可被即时访问。
• 双链架构：基于Eigenlayer AVS构建执行层，与CometBFT共识算法形成并行的双链架构。
• 创新数据格式标准：引入"manuscripts"数据格式标准，优化加密行业中数据的结构化和利用方式。
• 加密世界模型：结合AI模型技术，打造能有效理解、预测区块链交易并与之交互的AI模型。

Chainbase的AI模型Theia是其区别于其他数据服务协议的关键亮点。Theia基于NVIDIA开发的DORA模型，结合链上和链下数据以及时空活动，学习并分析加密模式，通过因果推理做出响应，深入挖掘链上数据的潜在价值和规律，为用户提供更智能化的数据服务。

3.3 Space and Time

Space and Time (SxT)旨在打造可验证的计算层，在去中心化数据仓库上扩展零知识证明，为智能合约、大语言模型和企业提供可信的数据处理。

SxT引入了Proof of SQL技术，这是一种创新的零知识证明技术，确保在去中心化数据仓库上执行的SQL查询是防篡改和可验证的。Proof of SQL生成加密证明，验证查询结果的完整性和准确性，使任何验证者都可以独立确认数据在处理过程中未被篡改。

SxT一直与微软AI联合创新实验室密切合作，加速研发生成式AI工具，方便用户通过自然语言处理区块链数据。在Space and Time Studio中，用户可以体验输入自然语言查询，AI会自动将其转换为SQL并执行查询语句，呈现用户需要的最终结果。

结论与展望

区块链数据索引技术从最初的节点数据源头，经过数据解析和索引器的发展，最终演进到AI赋能的全链数据服务，经历了一个逐步完善的过程。这些技术的不断演进不仅提高了数据访问的效率和准确性，还为用户带来了前所未有的智能化体验。

展望未来，随着AI技术和零知识证明等新技术的不断发展，区块链数据服务将进一步智能化和安全化。区块链数据服务作为基础设施将继续发挥重要作用，为行业的进步和创新提供有力支持。