Доступ к данным Web3: представление индексатора и связанные проекты

Автор: Гэн Кай, DFG

Важность данных в блокчейне

Данные являются ключевым элементом технологии блокчейн и являются основой для разработки децентрализованных приложений (dApp). Хотя большая часть текущих обсуждений касается доступности данных (DA) - обеспечение доступа каждого участника сети к последним данным о транзакциях для проверки - есть еще один такой же важный аспект, который часто игнорируется: доступность данных.

В эпоху модульного блокчейна решения DA стали неотъемлемой частью. Эти решения гарантируют, что все участники могут использовать данные транзакций, обеспечивая тем самым мгновенную проверку и поддержание целостности сети. Однако функции уровня DA больше похожи на рекламные щиты, а не на базы данных. Это означает, что данные не будут храниться бесконечно; они будут удаляться с течением времени, как плакаты на рекламных щитах в конечном итоге заменяются новыми.

С другой стороны, доступность данных фокусируется на способности извлекать исторические данные, что является критически важным для разработки dApp и анализа блокчейна. Это аспект, который имеет решающее значение для задач, требующих доступа к прошлым данным для обеспечения точного представления и выполнения. Несмотря на то, что доступность данных важна, она обсуждается значительно меньше, но она так же важна, как и доступность данных. Обе они играют разные, но взаимосвязанные роли в экосистеме блокчейна, и всеобъемлющий подход к управлению данными должен решать оба этих вопроса, чтобы поддерживать мощные и эффективные приложения блокчейна.

Как ранее извлекались данные блокчейна

С момента своего появления блокчейн полностью изменил инфраструктуру и способствовал созданию децентрализованных приложений (dApp) в таких областях, как игры, финансы и социальные сети. Однако построение таких dApp требует доступа к большому объему данных блокчейна, что является сложным и дорогостоящим.

Для разработчиков dApp одним из вариантов является хостинг и запуск собственного узла RPC архива. Эти узлы хранят все исторические данные блокчейна с самого начала, позволяя полный доступ к данным. Однако поддержка архивных узлов требует высоких затрат, а также ограничена возможность запросов, поэтому невозможно выполнить запросы данных в формате, необходимом разработчикам. Хотя запуск более дешевых узлов является вариантом, эти узлы имеют ограниченные возможности по извлечению данных, что может затруднить работу dApp.

Другой способ - использовать коммерческого поставщика узлов RPC (удаленного вызова процедуры). Эти поставщики отвечают за затраты и управление узлами и предоставляют данные через точки RPC. Общедоступные точки RPC бесплатны, но имеют ограничение скорости, что может негативно сказаться на пользовательском опыте dApp. Частные точки RPC обеспечивают лучшую производительность путем уменьшения перегрузок, но даже простые запросы данных требуют большого количества обратного общения. Это делает их запросы тяжелыми и неэффективными для сложных запросов данных. Кроме того, частные точки RPC обычно сложны в масштабировании и несовместимы с различными сетями.

Лучшая альтернатива: Блокчейн индексатор

Индексаторы блокчейна играют важную роль в организации данных в цепочке и отправке их в базу данных для удобства запросов. Именно поэтому их часто называют 'Google блокчейна'. Они работают путем индексации данных блокчейна и делают их доступными в любое время с помощью языка запросов, похожего на SQL (используя API, такие как GraphQL). Предоставляя единый интерфейс для запросов данных, индексаторы позволяют разработчикам быстро и точно получать нужную информацию с помощью стандартизированного языка запросов, что значительно упрощает процесс.

Различные типы индексаторов оптимизируют поиск данных различными способами:

1. Индексатор полной ноды: эти индексаторы запускают полную блокчейн-ноду и извлекают данные непосредственно из нее, обеспечивая полную и точную информацию, но требуют больших объемов хранилищ и вычислительных мощностей.
2. Облегченные индексаторы: эти индексаторы полагаются на полные узлы для получения определенных данных по мере необходимости, снижая требования к хранилищу, но потенциально увеличивая время запросов.
3. Специализированные индексаторы: эти индексаторы специально предназначены для определенных типов данных или конкретных блокчейнов, их можно оптимизировать для извлечения определенного использования, такого как данные NFT или DeFi-транзакции.
4. Агрегатор индексов: эти индексаторы извлекают данные из нескольких блокчейнов и источников, включая информацию вне блокчейна, и предоставляют единый пользовательский интерфейс для запросов, что особенно полезно для многоцепных dApp.

Только Ethereum требует 3 ТБ дискового пространства, и по мере того, как Блокчейн продолжает рост, растет и объем данных, хранящихся на архивных узлах Erigon. Протокол индексатора развертывает самые длинные индексаторы для эффективного индексирования и запроса больших объемов данных на высоких скоростях, что невозможно при использовании Remote Procedure Call.

Индексатор также позволяет выполнять сложные запросы, легко фильтровать данные по различным критериям и извлекать данные для последующего анализа. Некоторые индексаторы также позволяют агрегировать данные из нескольких источников, избегая необходимости развертывать несколько API в многоцепочечном dApp. Распределение индексаторов по нескольким узлам обеспечивает улучшенную безопасность и производительность, в то время как поставщики RPC могут подвергаться прерываниям и отключениям из-за своей централизованной природы.

В целом, по сравнению с поставщиками узлов RPC, индексатор повышает эффективность и надежность поиска данных, а также снижает затраты на развертывание отдельного узла. Это делает протокол индексатора блокчейна предпочтительным выбором разработчиков dApp.

Индексатор Пример использования

Как уже упоминалось, для создания dApp необходимо извлекать и считывать данные с блокчейна для обеспечения работы их сервисов. Это относится ко всем типам dApp, включая DeFi, платформы NFT, игры, а также социальные сети, поскольку эти платформы требуют предварительного считывания данных для выполнения других транзакций.

Децентрализованное финансирование

Для DeFi Протокола требуется различная информация, чтобы предоставить пользователям конкретные цены, ставки, комиссии и т. д. Автоматизированный рынок-создатели (AMM) требуют информации о ценах и ликвидности определенных пулов ликвидности для расчета процентной ставки свопа, в то время как протоколы займа требуют использования ставки, чтобы определить процентную ставку займа и коэффициент обеспечения для ликвидации задолженности. Необходимо обязательно ввести эту информацию в их dApp перед вычислением процентной ставки, которую пользователь выполняет.

Игры

GameFi нуждается в быстром индексировании и доступе к данным, чтобы обеспечить плавную игру для пользователей. Только с помощью мгновенного доступа к данным и выполнения операций Web3 игры могут быть на равных с Web2 играми по производительности, привлекая больше пользователей. Для этих игр требуются данные, такие как владение землей, баланс внутриигровых токенов, внутриигровые операции и т.д. Используя индексаторы, они могут лучше гарантировать стабильный поток данных и безотказную работу, обеспечивая идеальный игровой опыт.

NFT

NFT рынок и платформа для займа требуют доступа к индексированным данным различной информации, такой как метаданные NFT, данные о праве собственности и передаче, информация об авторских отчислениях и т. д. Быстрый доступ к таким данным позволяет избежать необходимости просматривать каждый NFT по отдельности для поиска информации о праве собственности или свойствах NFT.

Для нормальной работы dApp быстрый доступ к данным крайне важен, как для автоматических книг ордеров (AMM) DeFi, которые требуют информации о ценах и ликвидности, так и для SocialFi-приложений, которые обновляют посты новых пользователей. Используя индексаторы, они могут эффективно и правильно извлекать данные, обеспечивая плавный пользовательский опыт.

Анализ

Индексатор предоставляет способ извлечения определенных данных из исходных данных блокчейна, включая события смарт-контрактов в каждом блоке. Это предоставляет возможность для более детального анализа данных и обеспечивает всестороннее понимание.

Например, протоколы перманентных контрактов могут определить, какие токены имеют больший объем торгов, какие токены генерируют комиссии, чтобы решить, следует ли включать эти токены в качестве постоянного контракта на своей платформе. Разработчики DEX могут создавать панели инструментов для своих продуктов, чтобы более подробно изучить, какие пулы имеют наибольшую доходность или наибольшую ликвидность. Также можно создавать общедоступные панели инструментов, чтобы разработчики могли свободно и гибко запрашивать любой тип данных для отображения на графиках.

Имея в распоряжении несколько индексаторов блокчейна, важно различать протоколы индексации, чтобы обеспечить выбор разработчиками наиболее подходящего индексатора для их потребностей.

Обзор индексатора блокчейна

Обзор индексатора

График

The Graph - это первый протокол индексации, запущенный на Ethereum, который позволяет легко запрашивать данные о транзакциях, к которым ранее было сложно получить доступ. Он использует подграфы для определения и фильтрации подмножества данных, собранных с блокчейна, таких как все транзакции, связанные с пулом Uniswap v3 USDC/ETH.

С использованием доказательства индекса, индексатор ставит на залог оригинальный токен GRT для предоставления индексирования и запросов. Держатели могут выбрать внести залог своих токенов здесь. Кураторы получают доступ к высококачественным подграфам, чтобы помочь индексаторам определить, для каких подграфов индексировать данные, чтобы заработать наибольшую плату за запросы. По мере продвижения к более децентрализованной сети, The Graph в конечном итоге прекратит свои хостинг-услуги и потребует обновления подграфа на свою сеть, предоставляя при этом обновленные индексаторы.

Его инфраструктура позволяет достичь средней стоимости 40 долларов за миллион запросов, что намного ниже стоимости самостоятельного узла. Используя источник данных файла, он также поддерживает параллельный индексирование данных как в блокчейне, так и вне блокчейна для эффективного поиска данных.

Посмотрите на вознаграждение индексатора The Graph, которое продолжает уверенно расти в последние несколько кварталов. Это частично обусловлено увеличением объема запросов, но также связано с ростом цены токена, поскольку они планируют интегрировать искусственный интеллект в помощь при запросах в будущем.

Кальмар

Subsquid - это децентрализованное хранилище данных, ориентированное на пиры и горизонтальное масштабирование, способное эффективно агрегировать большое количество данных вне блокчейна и в блокчейне, обеспечивая их защиту с помощью доказательства с нулевым разглашением. В качестве децентрализованной сети рабочих каждый узел отвечает за хранение данных из определенного подмножества блоков и ускоряет процесс поиска данных путем быстрого определения узлов, сохраняющих необходимые данные.

Subsquid также поддерживает индексацию в реальном времени, позволяя индексировать данные до окончательного подтверждения блока. Он также поддерживает хранение данных в формате, выбранном разработчиком, что облегчает анализ с использованием таких инструментов, как BigQuery, Parquet или CSV. Кроме того, субграфы могут быть развернуты в сети Subsquid без необходимости миграции на Squid SDK, что позволяет осуществлять развертывание без написания кода.

Несмотря на то, что Subsquid все еще находится на стадии тестовой сети, у него уже есть впечатляющая статистика: более 80 000 пользователей тестовой сети, более 60 000 индексаторов Squid и более 20 000 проверенных разработчиков. Недавно, 3 июня, Subsquid запустил основную сеть своего данных-озера.

Помимо индекса, сеть данных Subsquid также может заменить RPC в случаях использования анализа, совместного использования ZK/TEE, агентов и Oracle и др.

Подзапрос

SubQuery - это децентрализованная сеть инфраструктуры для промежуточного программного обеспечения, предоставляющая услуги RPC и индексации данных. Она изначально поддерживала сети Polkadot и Substrate, а теперь расширилась до более чем 200 цепей. Его работа напоминает The Graph, использующий доказательства индексации, при которых индексаторы индексируют данные и предоставляют запросы на запросы, а делегаторы ставят ставки на индексаторы. Однако он вводит потребителей для представления заказов на покупку, чтобы показать, что доход индексатора гарантирован, а не управляется администратором.

Он введет узлы данных SubQuery, которые поддерживают шардинг, чтобы оптимизировать эффективность запросов и двигаться в сторону большей децентрализации. Пользователи могут выбрать оплату расчетных расходов, равных приблизительно 1 токену SQT за каждые 1000 запросов, или установить настраиваемую плату для индексатора через протокол.

Несмотря на то, что SubQuery только недавно запустила свою токен, награды за узлы и делегатов также увеличились в долларовом выражении, что означает постоянный рост количества предоставляемых на их платформе сервисов запросов. С момента TGE общий объем заложенных SQT увеличился с 6 миллионов до 125 миллионов, что подчеркивает рост участия в их сети.

Ковалентный

Covalent - это децентрализованная сеть индексаторов, создающая копии данных блокчейна путем массового экспорта от узлов сети BSP и публикации доказательств на блокчейне Covalent L1. Затем узлы BRP в соответствии с заданными правилами уточняют и отбирают данные, отвечающие требованиям.

Посредством унифицированного API разработчики могут легко извлекать связанные данные блокчейна в единообразном формате запроса и ответа, не прибегая к написанию сложных пользовательских запросов. Они могут использовать токены CQT, распределенные на Moonbeam, в качестве средства оплаты для доступа к этим предварительно настроенным наборам данных у провайдеров сети.

Награды от Covalent, кажется, в целом растут с первого квартала 23 года до первого квартала 24 года, частично из-за роста цены на токен Covalent CQT.

Важные моменты при выборе индексатора

Пользовательские данные

Некоторые индексаторы (например, Covalent) являются универсальными индексаторами и предоставляют только стандартные предварительно настроенные наборы данных через API. Хотя они могут быть быстрыми, они не обеспечивают гибкость для разработчиков, нуждающихся в настраиваемых наборах данных. Используя фреймворк индексаторов, можно выполнять более гибкую обработку данных, чтобы удовлетворить конкретные потребности приложения.

Безопасность

Данные индексации должны быть безопасными, иначе dApp, построенные на этих индексаторах, могут быть легко подвергнуты атаке. Например, если транзакции и баланс кошелька можно манипулировать, dApp может потерять ликвидность, что повлияет на его пользователей. Хотя все индексаторы обеспечивают некоторую степень безопасности с помощью залога токенов, другие решения индексаторов могут использовать доказательства для дополнительного повышения безопасности.

Subsquid предлагает варианты с оптимистическим и доказательством с нулевым разглашением, в то время как Covalent выпустил доказательства, содержащие хеши блоков. Graph предоставляет спорный период вызова для индексаторов, вызывая оптимистический период вызова для запросов индексаторов, а SubQuery генерирует доказательства хеша Merkle Mountain для каждого блока для вычисления хеша каждого блока всех данных, хранящихся в его базе данных.

Скорость и масштабируемость

С ростом блокчейна объем транзакций также увеличивается, что делает индексацию больших объемов данных более трудоемкой из-за необходимости большей вычислительной мощности и пространства хранения. С ростом сети блокчейна становится все сложнее поддерживать эффективность, но протокол индексатора предлагает решение для удовлетворения этих растущих потребностей.

Например, Subsquid использует больше узлов для хранения данных, чтобы достичь горизонтального масштабирования, которое может масштабироваться с улучшением оборудования. Graph предоставляет параллельные потоковые данные для более быстрой синхронизации данных, в то время как SubQuery вводит шардинг узлов для ускорения процесса синхронизации.

Поддерживаемые сети

Несмотря на то, что большинство блокчейн-деятельности все еще происходят внутри сети Ethereum, с течением времени различные блокчейны становятся все более популярными. Например, Layer 2s, Solana, блокчейн Move и цепочка экосистемы Биткойн имеют свои собственные ловушки постоянно растущих разработчиков и активности, что также требует индексирования.

Предоставление поддержки для некоторых цепей, которые не поддерживает другие протоколы индексаторов, может принести большую долю рынка и доходов. Не так просто обеспечить поддержку индексации для сетей с интенсивным использованием данных (например, Solana), и пока что только Subsquid смог успешно обеспечить им поддержку индексации.

Вывод

Хотя индексаторы широко используются в разработке dApp, у них все еще огромный потенциал, особенно при интеграции AI. С развитием AI в Web2 и Web3 его возможности улучшения зависят от доступа к соответствующим данным для обучения моделей и разработки AI-агентов. Обеспечение целостности данных критически важно для приложений AI, поскольку это позволяет предотвратить введение предвзятой или неточной информации в модели.

В области решений по индексации Subsquid сделал значительные успехи в области производительности и пользовательских показателей. Пользователи уже начали экспериментировать с использованием Subsquid для создания искусственного интеллекта, что демонстрирует многофункциональность и потенциал этой платформы в постоянно развивающейся области индексации данных. Кроме того, такие инструменты, как AutoAgora, помогают индексаторам использовать искусственный интеллект для динамического ценообразования услуг на The Graph, а SubQuery поддерживает несколько искусственных интеллектуальных сетей (таких как OriginTrail и Oraichain) для обеспечения прозрачной индексации данных.

Интеграция искусственного интеллекта и индексатора ожидается улучшить доступность и доступность данных в экосистеме блокчейна. Используя технологии искусственного интеллекта, индексатор может предоставить более эффективный и точный поиск данных, что позволяет разработчикам создавать более сложные dApp и аналитические инструменты. По мере того как искусственный интеллект и индексатор продолжают развиваться вместе, мы всё ещё оптимистично относимся к будущему индексации данных и ее роли в формировании децентрализованной цифровой парадигмы.