Эволюция технологий индексирования данных Блокчейн и перспективы будущего

1. Введение

С самых ранних приложений Блокчейн до сегодняшнего разнообразия финансовых, игровых и социальных dApp, экосистема Блокчейн претерпела огромные изменения. В этом процессе источники данных, на которых основано взаимодействие dApp, постепенно стали объектом пристального внимания в отрасли.

В 2024 году слияние ИИ и Web3 становится актуальной темой. В области искусственного интеллекта данные являются жизненной силой его роста и эволюции. Подобно тому, как растениям необходимы солнечный свет и влага для здорового роста, ИИ-системы также зависят от огромного объема данных для постоянного обучения и размышлений. Без поддержки данных даже самые изощренные алгоритмы ИИ не смогут проявить свою истинную интеллектуальность и эффективность.

В данной статье будет подробно рассмотрена история развития доступности данных в Блокчейн, проанализирована эволюция технологий индексирования данных в отрасли, а также сопоставлены несколько основных протоколов индексирования данных, с особым вниманием к тому, как новые протоколы используют технологии ИИ для оптимизации услуг по обработке данных и архитектуры продуктов.

2. Эволюция индексирования данных: от узлов к полным базам данных блокчейна

2.1 Источник данных: Блокчейн узел

Блокчейн часто описывается как децентрализованный бухгалтерский регистр. Узлы являются основой всей сети, отвечая за запись, хранение и распространение всех данных о транзакциях в сети. Каждый узел хранит полную копию данных Блокчейн, что обеспечивает децентрализованный характер сети. Однако для обычных пользователей создание и поддержка узлов - это непростая задача, которая требует не только профессиональных навыков, но и включает высокие затраты на оборудование и пропускную способность. Кроме того, возможности запроса обычных узлов ограничены, что затрудняет удовлетворение потребностей разработчиков.

Чтобы решить эту проблему, появились провайдеры RPC-узлов. Они берут на себя расходы и управление узлами, предоставляя данные через RPC-конечные точки. Хотя публичные RPC-конечные точки бесплатны, у них есть ограничения по скорости, что может повлиять на пользовательский опыт dApp. Частные RPC-конечные точки обеспечивают лучшую производительность, но эффективность для сложных запросов ниже, и они трудны для масштабирования и совместимости между сетями. Тем не менее, стандартизированные API-интерфейсы провайдеров узлов снижают барьер для пользователей при доступе к данным на блокчейне, закладывая основу для последующей обработки данных и приложений.

2.2 Анализ данных: от исходных данных до полезных данных

Данные, предоставляемые узлами Блокчейна, обычно проходят шифрование и кодирование, что обеспечивает целостность и безопасность данных, но увеличивает сложность их анализа. Для обычных пользователей и разработчиков прямое обращение с этими данными требует значительных технических знаний и вычислительных ресурсов.

Процесс анализа данных становится особенно важным в этом контексте. Преобразуя сложные исходные данные в более понятный и удобный для работы формат, пользователи могут более интуитивно использовать эти данные. Качество анализа непосредственно влияет на эффективность и результативность применения данных Блокчейн, являясь ключевым этапом всего процесса индексирования данных.

2.3 Развитие индексаторов данных

С увеличением объема данных в Блокчейн потребность в индексаторах данных становится все более очевидной. Основная функция индексатора заключается в организации данных на цепочке и их сохранении в базе данных для последующего запроса. Они индексируют данные Блокчейн и предоставляют интерфейсы для запросов, подобные SQL (такие как GraphQL), что делает данные доступными в любое время. Этот унифицированный интерфейс запросов позволяет разработчикам быстро и точно извлекать необходимую информацию, значительно упрощая весь процесс.

Разные типы индексаторов имеют свои преимущества:

1. Полный узел-индексатор: извлечение данных непосредственно из полного узла, что обеспечивает полное и точное получение данных, но требует больших объемов хранения и вычислительных мощностей.
2. Легковесный индексатор: зависит от полных узлов для получения конкретных данных, снижает требования к хранению, но может увеличить время запроса.
3. Специальный индексатор: оптимизированный для определенных типов данных или Блокчейн, таких как данные NFT или транзакции DeFi.
4. Аггрегатор индексов: извлечение данных из нескольких Блокчейн и источников, включая внецепочечную информацию, предоставляющее унифицированный интерфейс для запросов, подходит для многоцепочечных dApp.

В настоящее время требования к хранению архивных узлов Ethereum варьируются от 3 ТБ до 13,5 ТБ в зависимости от различных клиентов и продолжают расти по мере увеличения Блокчейн. Учитывая такой объем данных, основные протоколы индексирования поддерживают не только многосетевое индексирование, но и разрабатывают фреймы для анализа данных в соответствии с различными потребностями приложений.

Появление индексаторов значительно повысило эффективность индексации и запроса данных. В отличие от традиционных RPC конечных точек, индексаторы могут эффективно обрабатывать большие объемы данных, поддерживая сложные запросы и фильтрацию данных. Некоторые индексаторы также поддерживают агрегацию многосетевых источников данных, избегая проблемы развертывания нескольких API для многосетевых dApp. Благодаря распределенному выполнению индексаторы обеспечивают большую безопасность и производительность, снижая риск прерываний, которые могут возникнуть из-за централизованных поставщиков RPC.

2.4 Полная база данных блокчейна: выравнивание по приоритету потока

С ростом масштаба проекта стандартизированные API становятся недостаточно эффективными для удовлетворения все более сложных запросов, таких как поиск, кросс-цепочечный доступ или сопоставление данных вне цепочки. Метод "приоритет потока" в современной архитектуре потоковых данных стал решением для преодоления ограничений традиционной пакетной обработки, обеспечивая обработку и анализ данных в реальном времени.

Поставщики услуг данных Блокчейн также развиваются в направлении создания потоков данных. Традиционные поставщики индексирования выпустили продукты потоковой передачи данных Блокчейн в реальном времени, такие как Substreams от одного протокола и Mirror от одной компании. В то же время новые поставщики услуг, такие как одна дата-платформа и один протокол, также предлагают потоковые озера данных в реальном времени на основе Блокчейн.

Эти услуги направлены на удовлетворение потребности в реальном анализе транзакций в Блокчейне и предоставлении комплексных возможностей для поиска. Переосмысливая управление данными на цепочке с точки зрения современных потоков данных, мы можем исследовать больше возможностей для хранения и использования данных. Рассматривая индексаторы, такие как Subgraph и Ethereum ETL, как потоки данных, а не конечные выходные данные, открываются новые возможности для настройки высокопроизводительных наборов данных.

3. Сочетание ИИ и баз данных: Сравнение основных протоколов

3.1 Некоторый децентрализованный индексный протокол

Данный протокол предоставляет услуги многосетевого индексации и запроса данных через децентрализованную сеть узлов. Его основные продукты включают рынок выполнения запросов данных и рынок кэширования индекса данных, обслуживающие запросы пользователей.

Основная структура данных протокола — это "подграф", который определяет, как извлекать и преобразовывать данные из Блокчейн в запрашиваемый формат. Сеть состоит из четырех ролей: индексаторов, кураторов, делегатов и разработчиков, которые обеспечивают функционирование системы через экономические стимулы.

Недавно этот протокол достиг прорыва в области приложений ИИ. Основная команда разработчиков экосистемы разработала несколько инструментов ИИ, таких как механизм динамического ценообразования, оптимизатор распределения ресурсов и инструменты для обработки запросов на естественном языке, что повысило уровень интеллекта системы и удобство использования для пользователей.

3.2 Некоторая полная цепочка данных сети

Это платформа, интегрирующая все данные Блокчейн, предлагающая такие уникальные функции, как реальный дата-озеро, двойная архитектура, инновационные стандарты формата данных и модель криптомира.

Платформа построена на основе определенной технологии, создающей уровень исполнения, и формирует параллельную двойную цепочную архитектуру с определенным алгоритмом консенсуса, что усиливает программируемость и комбинируемость межцепочечных данных. Платформа вводит новый стандарт формата данных под названием "manuscripts", оптимизируя структурированность и использование данных в криптоиндустрии.

Платформа объединила технологии AI-моделей для создания AI-модели, способной понимать, предсказывать Блокчейн-транзакции и взаимодействовать с ними. В настоящее время выпущена базовая версия модели для публичного использования, основанная на технологиях, разработанных одной компанией, в сочетании с данными на блокчейне и вне его, а также пространственно-временной деятельностью, для глубокого извлечения потенциальной ценности и закономерностей данных на блокчейне.

3.3 Некоторый проверяемый вычислительный слой

Проект направлен на создание проверяемого вычислительного уровня, который расширяет нулевые доказательства на децентрализованных хранилищах данных, обеспечивая надежную обработку данных для смарт-контрактов, больших языковых моделей и предприятий.

Проект внедрил инновационную технологию нулевых знаний, обеспечивая, что SQL-запросы, выполняемые на децентрализованных хранилищах данных, являются защищенными от подделки и проверяемыми. Эта технология изменила традиционный способ в блокчейн-сетях, полагающихся на механизмы консенсуса для проверки подлинности данных, улучшив общую производительность системы.

Проект сотрудничает с лабораторией AI крупной технологической компании для разработки инструментов генеративного AI, упрощающих пользователям процесс обработки данных блокчейна с помощью обработки естественного языка. Пользователи могут вводить запросы на естественном языке, AI автоматически преобразует их в SQL и выполняет запрос, представляя конечный результат.

Выводы и перспективы

Технология индексирования данных Блокчейн прошла этапы от источника данных узла, через解析 данных и индексатор, к полному сервису данных цепочки, наделенному ИИ. Этот процесс постоянно повышает эффективность и точность доступа к данным, предоставляя пользователям более интеллектуальный опыт.

В будущем, с развитием технологий AI и доказательства с нулевым разглашением, услуги блокчейн-данных станут еще более интеллектуальными и безопасными. В качестве инфраструктуры эти услуги будут продолжать предоставлять важную поддержку для продвижения и инноваций в отрасли.