Эволюция технологий индексации данных Блокчейн: от Узла до AI-управляемых услуг по всей цепочке
1. Введение
С момента появления первых приложений на Блокчейн в 2017 году и до нынешнего времени, когда различные финансовые, игровые и социальные приложения на основе разных Блокчейн расцветают, задумывались ли мы о различных источниках данных, используемых в этих приложениях в процессе взаимодействия?
В 2024 году искусственный интеллект и Web3 станут горячими темами. В области ИИ данные являются основой его развития. Как растениям нужны солнце и вода, так и ИИ-системы зависят от огромного объема данных для постоянного обучения и эволюции. Без данных ни один из самых изощренных алгоритмов ИИ не сможет проявить свои искомые умственные способности и эффективность.
В этой статье будет подробно рассмотрена история развития доступности данных в блокчейне, проанализирована эволюция индексации данных в отрасли и проведено сравнение старых индексных протоколов и новых сервисных протоколов данных по их техническим характеристикам.
2. Эволюция индексирования данных: от узлов Блокчейна к полной базе данных
2.1 Источник данных: Узел Блокчейн
Блокчейн является децентрализованной бухгалтерской книгой, узлы являются основой всей сети, отвечая за запись, хранение и распространение всех данных транзакций. Каждый узел имеет полную копию данных блокчейна, поддерживая децентрализованную природу сети. Однако обычным пользователям не легко создавать и поддерживать узлы, так как это требует не только профессиональных навыков, но и высоких затрат на оборудование и пропускную способность. Запросные возможности обычных узлов также ограничены, что затрудняет удовлетворение потребностей разработчиков. Поэтому пользователи часто полагаются на сторонние сервисы.
Поставщики RPC-узлов появились и отвечают за управление узлами, предоставляя данные через RPC-эндпоинты. Это позволяет пользователям получать доступ к данным Блокчейн без необходимости создавать собственные узлы. Публичные RPC-эндпоинты бесплатны, но имеют ограничения по скорости, частные RPC-эндпоинты обеспечивают лучшую производительность, но их эффективность все еще невысока. Тем не менее, стандартизированные API-интерфейсы поставщиков узлов снижают барьер для пользователей при доступе к данным на блокчейне, закладывая основу для последующей обработки данных и применения.
2.2 Анализ данных: от исходных данных к полезным данным
Данные, предоставляемые узлами Блокчейн, обычно проходят процесс шифрования и кодирования, что обеспечивает их целостность и безопасность, но также увеличивает сложность их анализа. Для обычных пользователей и разработчиков прямое взаимодействие с этими данными требует значительных технических знаний и вычислительных ресурсов.
Процесс анализа данных становится критически важным. Преобразуя сложные исходные данные в понятный и удобный для работы формат, пользователи могут более интуитивно использовать эти данные. Качество анализа напрямую влияет на эффективность и результативность применения данных Блокчейн, что является ключевым этапом всего процесса индексации данных.
2.3 Эволюция индексаторов данных
С увеличением объема данных Блокчейн возрастает потребность в индексаторах данных. Индексаторы играют важную роль в организации данных на цепочке и их отправке в базу данных для запросов. Они индексируют данные Блокчейн и предоставляют интерфейс для запросов, подобный SQL, такой как GraphQL API(, что делает данные доступными в любой момент. Этот унифицированный интерфейс запросов значительно упрощает процесс извлечения необходимой информации для разработчиков.
Разные типы индексаторов оптимизируют извлечение данных различными способами:
Полный узел-индексатор: извлечение данных непосредственно из полного узла Блокчейн, обеспечивая полноту и точность, но требуя значительных объемов хранения и вычислительных мощностей.
Легковесный индексатор: полагается на полные узлы для получения определённых данных по мере необходимости, снижая требования к хранению, но возможно увеличивая время запроса.
Специальный индексатор: оптимизация поиска для определенных типов данных или Блокчейн, таких как данные NFT или DeFi-транзакции.
Аггрегатор индексов: извлечение данных из нескольких Блокчейнов и источников, включая внецепочечную информацию, предоставление единого интерфейса для запросов, подходит для многосетевых приложений.
В настоящее время архивные узлы Ethereum занимают от 3 до 13,5 ТБ пространства для хранения в зависимости от различных клиентов. Столкнувшись с таким огромным объемом данных, основные протоколы индексирования поддерживают многосетевую индексацию и настраивают рамки для разбора данных в соответствии с различными потребностями приложений.
По сравнению с традиционными RPC-эндпоинтами, индексаторы значительно повышают эффективность индексации и запроса данных. Они поддерживают сложные запросы, фильтрацию данных и анализ после извлечения. Некоторые индексаторы также поддерживают агрегацию источников данных из нескольких Блокчейн, избегая проблемы, когда многосетевые приложения требуют развертывания нескольких API. Благодаря распределенной работе, индексаторы предоставляют лучшую безопасность и производительность, снижая риски, связанные с централизованными RPC-поставщиками.
![Чтение, индексация к анализу, краткий обзор сектора индексации данных Web3])https://img-cdn.gateio.im/webp-social/moments-587ce87f6dbedee4acec7d939fed6980.webp(
) 2.4 Полная цепочка базы данных: выравнивание по приоритету потока
С учетом усложнения требований приложений, начальные индексаторы данных с трудом справляются с все более разнообразными запросами, такими как поиск, межцепочечный доступ или отображение данных вне цепочки. В современной архитектуре потоковых данных метод "приоритета потока" становится решением ограничений традиционной пакетной обработки, позволяя осуществлять обработку и анализ данных в реальном времени.
Поставщики услуг данных Блокчейн также развиваются в направлении создания потоков данных. Традиционные сервисы индексирования представили продукты потоковой передачи данных Блокчейн в реальном времени, такие как Substreams от The Graph и Mirror от Goldsky. Также существуют такие сервисы, как Chainbase и SubSquid, которые являются реальными озерами данных, генерируемыми на основе Блокчейн.
Эти услуги направлены на решение потребностей в实时解析 Блокчейн-транзакций и предоставлении более комплексных возможностей для запроса. Переопределяя управление данными на цепочке с точки зрения современных дата-пайплайнов, мы можем представить будущее, в котором высокопроизводительные наборы данных будут адаптированы для любого бизнес-кейса.
3. AI + База данных: Сравнение The Graph, Chainbase и Space and Time
3.1 Граф
Сеть The Graph предоставляет услуги многосетевого индексирования и запроса данных через децентрализованные узлы. Основные продуктовые модели включают рынок выполнения запросов данных и рынок кэширования индексов данных, обслуживающие запросы пользователей к продуктам.
Подграфы ### являются основной структурой данных сети The Graph, определяющей, как извлекать и преобразовывать данные из Блокчейн в запрашиваемый формат. Сеть состоит из четырех ролей: индексаторов, кураторов, делегатов и разработчиков, которые совместно поддерживают потребности данных веб3 приложений.
Продукты The Graph также быстро развиваются на волне ИИ. Инструменты AutoAgora, Allocation Optimizer и AgentC, разработанные Semiotic Labs, оптимизируют стратегии ценообразования, распределение ресурсов и пользовательский опыт, повышая интеллектуальность системы и удобство для пользователей.
( 3.2 Chainbase
Chainbase является сетью данных всего Блокчейн, объединяющей все данные Блокчейн в одной платформе. Его характеристики включают:
Реальное время данных: предоставляет специализированное хранилище данных в реальном времени для потоков данных Блокчейн.
Двухцепочная архитектура: основана на Eigenlayer AVS для построения уровня исполнения, совместно с алгоритмом консенсуса CometBFT образует параллельную архитектуру.
Инновационный стандарт формата данных: введение стандарта формата данных "manuscripts".
Модель криптомира: сочетая технологии ИИ, создать модель, способную понимать и предсказывать Блокчейн-транзакции.
AI-модель Theia от Chainbase основана на модели DORA от NVIDIA, анализирует внешние данные и временно-пространственные активности в блокчейне, предоставляя пользователям интеллектуальные данные услуги.
![Чтение, индексирование для анализа, краткий обзор сектора индексации данных Web3])https://img-cdn.gateio.im/webp-social/moments-b343cab5112c1a3d52f4e72122ae0df2.webp###
( 3.3 Пространство и Время
Space and Time )SxT### стремится создать проверяемый вычислительный уровень, расширяя нулевые знания в децентрализованном хранилище данных. Его核心技术 Proof of SQL обеспечивает защиту от подделок и проверяемость SQL-запросов, предлагая эффективное решение для валидации данных.
SxT сотрудничает с лабораторией инноваций Microsoft AI для разработки инструментов генеративного ИИ, которые позволяют пользователям обрабатывать данные Блокчейн с помощью обработки естественного языка. В Space and Time Studio ИИ может преобразовывать естественный язык в SQL и выполнять запросы.
Заключение и перспективы
Технология индексирования данных Блокчейн изначально развивалась от узловых источников данных, через развитие обработки данных и индексаторов, и в конечном итоге эволюционировала в полные услуги данных с поддержкой ИИ, пройдя процесс поэтапного совершенствования. Эти технологические достижения не только повысили эффективность и точность доступа к данным, но и принесли интеллектуальный опыт.
В будущем, с развитием новых технологий, таких как AI-технологии и нулевые доказательства, услуги блокчейн-данных станут еще более интеллектуальными и безопасными. В качестве инфраструктуры услуги блокчейн-данных будут продолжать поддерживать инновации в отрасли.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
14 Лайков
Награда
14
5
Поделиться
комментарий
0/400
ChainSpy
· 18м назад
Просто индексируйте данные всей цепи и все.
Посмотреть ОригиналОтветить0
ProbablyNothing
· 10ч назад
Попробуй поиграть.
Посмотреть ОригиналОтветить0
FUD_Whisperer
· 10ч назад
бык啊 Индексатор становится умным
Посмотреть ОригиналОтветить0
BearMarketNoodler
· 10ч назад
Ничего нового, эту ловушку использовали еще в 2008 году.
Посмотреть ОригиналОтветить0
HorizonHunter
· 10ч назад
Искусственный интеллект силен, но не может заниматься техникой без увлечения.
История эволюции индексирования данных Блокчейн: от Узлов до AI-управляемых полных цепочных услуг
Эволюция технологий индексации данных Блокчейн: от Узла до AI-управляемых услуг по всей цепочке
1. Введение
С момента появления первых приложений на Блокчейн в 2017 году и до нынешнего времени, когда различные финансовые, игровые и социальные приложения на основе разных Блокчейн расцветают, задумывались ли мы о различных источниках данных, используемых в этих приложениях в процессе взаимодействия?
В 2024 году искусственный интеллект и Web3 станут горячими темами. В области ИИ данные являются основой его развития. Как растениям нужны солнце и вода, так и ИИ-системы зависят от огромного объема данных для постоянного обучения и эволюции. Без данных ни один из самых изощренных алгоритмов ИИ не сможет проявить свои искомые умственные способности и эффективность.
В этой статье будет подробно рассмотрена история развития доступности данных в блокчейне, проанализирована эволюция индексации данных в отрасли и проведено сравнение старых индексных протоколов и новых сервисных протоколов данных по их техническим характеристикам.
2. Эволюция индексирования данных: от узлов Блокчейна к полной базе данных
2.1 Источник данных: Узел Блокчейн
Блокчейн является децентрализованной бухгалтерской книгой, узлы являются основой всей сети, отвечая за запись, хранение и распространение всех данных транзакций. Каждый узел имеет полную копию данных блокчейна, поддерживая децентрализованную природу сети. Однако обычным пользователям не легко создавать и поддерживать узлы, так как это требует не только профессиональных навыков, но и высоких затрат на оборудование и пропускную способность. Запросные возможности обычных узлов также ограничены, что затрудняет удовлетворение потребностей разработчиков. Поэтому пользователи часто полагаются на сторонние сервисы.
Поставщики RPC-узлов появились и отвечают за управление узлами, предоставляя данные через RPC-эндпоинты. Это позволяет пользователям получать доступ к данным Блокчейн без необходимости создавать собственные узлы. Публичные RPC-эндпоинты бесплатны, но имеют ограничения по скорости, частные RPC-эндпоинты обеспечивают лучшую производительность, но их эффективность все еще невысока. Тем не менее, стандартизированные API-интерфейсы поставщиков узлов снижают барьер для пользователей при доступе к данным на блокчейне, закладывая основу для последующей обработки данных и применения.
2.2 Анализ данных: от исходных данных к полезным данным
Данные, предоставляемые узлами Блокчейн, обычно проходят процесс шифрования и кодирования, что обеспечивает их целостность и безопасность, но также увеличивает сложность их анализа. Для обычных пользователей и разработчиков прямое взаимодействие с этими данными требует значительных технических знаний и вычислительных ресурсов.
Процесс анализа данных становится критически важным. Преобразуя сложные исходные данные в понятный и удобный для работы формат, пользователи могут более интуитивно использовать эти данные. Качество анализа напрямую влияет на эффективность и результативность применения данных Блокчейн, что является ключевым этапом всего процесса индексации данных.
2.3 Эволюция индексаторов данных
С увеличением объема данных Блокчейн возрастает потребность в индексаторах данных. Индексаторы играют важную роль в организации данных на цепочке и их отправке в базу данных для запросов. Они индексируют данные Блокчейн и предоставляют интерфейс для запросов, подобный SQL, такой как GraphQL API(, что делает данные доступными в любой момент. Этот унифицированный интерфейс запросов значительно упрощает процесс извлечения необходимой информации для разработчиков.
Разные типы индексаторов оптимизируют извлечение данных различными способами:
В настоящее время архивные узлы Ethereum занимают от 3 до 13,5 ТБ пространства для хранения в зависимости от различных клиентов. Столкнувшись с таким огромным объемом данных, основные протоколы индексирования поддерживают многосетевую индексацию и настраивают рамки для разбора данных в соответствии с различными потребностями приложений.
По сравнению с традиционными RPC-эндпоинтами, индексаторы значительно повышают эффективность индексации и запроса данных. Они поддерживают сложные запросы, фильтрацию данных и анализ после извлечения. Некоторые индексаторы также поддерживают агрегацию источников данных из нескольких Блокчейн, избегая проблемы, когда многосетевые приложения требуют развертывания нескольких API. Благодаря распределенной работе, индексаторы предоставляют лучшую безопасность и производительность, снижая риски, связанные с централизованными RPC-поставщиками.
![Чтение, индексация к анализу, краткий обзор сектора индексации данных Web3])https://img-cdn.gateio.im/webp-social/moments-587ce87f6dbedee4acec7d939fed6980.webp(
) 2.4 Полная цепочка базы данных: выравнивание по приоритету потока
С учетом усложнения требований приложений, начальные индексаторы данных с трудом справляются с все более разнообразными запросами, такими как поиск, межцепочечный доступ или отображение данных вне цепочки. В современной архитектуре потоковых данных метод "приоритета потока" становится решением ограничений традиционной пакетной обработки, позволяя осуществлять обработку и анализ данных в реальном времени.
Поставщики услуг данных Блокчейн также развиваются в направлении создания потоков данных. Традиционные сервисы индексирования представили продукты потоковой передачи данных Блокчейн в реальном времени, такие как Substreams от The Graph и Mirror от Goldsky. Также существуют такие сервисы, как Chainbase и SubSquid, которые являются реальными озерами данных, генерируемыми на основе Блокчейн.
Эти услуги направлены на решение потребностей в实时解析 Блокчейн-транзакций и предоставлении более комплексных возможностей для запроса. Переопределяя управление данными на цепочке с точки зрения современных дата-пайплайнов, мы можем представить будущее, в котором высокопроизводительные наборы данных будут адаптированы для любого бизнес-кейса.
3. AI + База данных: Сравнение The Graph, Chainbase и Space and Time
3.1 Граф
Сеть The Graph предоставляет услуги многосетевого индексирования и запроса данных через децентрализованные узлы. Основные продуктовые модели включают рынок выполнения запросов данных и рынок кэширования индексов данных, обслуживающие запросы пользователей к продуктам.
Подграфы ### являются основной структурой данных сети The Graph, определяющей, как извлекать и преобразовывать данные из Блокчейн в запрашиваемый формат. Сеть состоит из четырех ролей: индексаторов, кураторов, делегатов и разработчиков, которые совместно поддерживают потребности данных веб3 приложений.
Продукты The Graph также быстро развиваются на волне ИИ. Инструменты AutoAgora, Allocation Optimizer и AgentC, разработанные Semiotic Labs, оптимизируют стратегии ценообразования, распределение ресурсов и пользовательский опыт, повышая интеллектуальность системы и удобство для пользователей.
( 3.2 Chainbase
Chainbase является сетью данных всего Блокчейн, объединяющей все данные Блокчейн в одной платформе. Его характеристики включают:
AI-модель Theia от Chainbase основана на модели DORA от NVIDIA, анализирует внешние данные и временно-пространственные активности в блокчейне, предоставляя пользователям интеллектуальные данные услуги.
![Чтение, индексирование для анализа, краткий обзор сектора индексации данных Web3])https://img-cdn.gateio.im/webp-social/moments-b343cab5112c1a3d52f4e72122ae0df2.webp###
( 3.3 Пространство и Время
Space and Time )SxT### стремится создать проверяемый вычислительный уровень, расширяя нулевые знания в децентрализованном хранилище данных. Его核心技术 Proof of SQL обеспечивает защиту от подделок и проверяемость SQL-запросов, предлагая эффективное решение для валидации данных.
SxT сотрудничает с лабораторией инноваций Microsoft AI для разработки инструментов генеративного ИИ, которые позволяют пользователям обрабатывать данные Блокчейн с помощью обработки естественного языка. В Space and Time Studio ИИ может преобразовывать естественный язык в SQL и выполнять запросы.
Заключение и перспективы
Технология индексирования данных Блокчейн изначально развивалась от узловых источников данных, через развитие обработки данных и индексаторов, и в конечном итоге эволюционировала в полные услуги данных с поддержкой ИИ, пройдя процесс поэтапного совершенствования. Эти технологические достижения не только повысили эффективность и точность доступа к данным, но и принесли интеллектуальный опыт.
В будущем, с развитием новых технологий, таких как AI-технологии и нулевые доказательства, услуги блокчейн-данных станут еще более интеллектуальными и безопасными. В качестве инфраструктуры услуги блокчейн-данных будут продолжать поддерживать инновации в отрасли.