Важливість даних Блокчейн та зростання індексаторів

Ядро технології Блокчейн полягає в даних. Це основа для розробки децентралізованих додатків (dApp). Хоча наразі в індустрії головна увага зосереджена на доступності даних (DA), проте доступність даних також є важливою, але часто ігнорується.

У епоху модульного Блокчейну рішення DA стали невід'ємною частиною. Вони забезпечують доступ усіх учасників до даних транзакцій, що дозволяє здійснювати реальну перевірку та підтримувати цілісність мережі. Однак, шар DA більше схожий на білборд, ніж на базу даних. Це означає, що дані не зберігаються постійно, а з часом замінюються новими даними.

У порівнянні, доступність даних зосереджується на здатності отримувати історичні дані, що є критично важливим для розробки dApp і проведення аналізу Блокчейн. Це особливо важливо для завдань, які потребують доступу до минулих даних для забезпечення точного представлення та виконання. Попри те, що обговорень менше, доступність даних є такою ж важливою, як і доступність даних. Обидва відіграють різні, але взаємодоповнюючі ролі в екосистемі Блокчейн, тому комплексний підхід до управління даними повинен одночасно вирішувати ці дві проблеми, щоб підтримувати потужні та ефективні Блокчейн-додатки.

Традиційні способи пошуку даних у Блокчейні

З моменту свого народження, Блокчейн кардинально змінив інфраструктуру, сприяючи створенню dApp у таких сферах, як ігри, фінанси та соціальні мережі. Проте, для побудови цих dApp потрібно отримати доступ до великої кількості даних Блокчейн, що є як складним, так і дорогим.

Для розробників dApp одним із варіантів є хостинг і запуск власного архівного RPC вузла. Ці вузли зберігають усі історичні дані Блокчейн, що дозволяє повний доступ. Але утримання архівного вузла є витратним, можливості запитів обмежені, неможливо запитувати дані у форматі, який потрібен розробникам. Хоча запуск дешевших вузлів є варіантом, можливості їх отримання даних обмежені, що може вплинути на роботу dApp.

Інший спосіб – це використання постачальників комерційних RPC-нод. Ці постачальники відповідають за витрати та управління вузлами, надаючи дані через RPC-кільця. Публічні RPC-кільця безкоштовні, але мають обмеження швидкості, що може вплинути на досвід користувачів dApp. Приватні RPC-кільця забезпечують кращу продуктивність за рахунок зменшення заторів, але навіть простий запит даних потребує великої кількості взаємодій. Це робить їх запитами обтяжливими та неефективними для складних запитів даних. Крім того, приватні RPC-кільця зазвичай важко масштабується і не мають сумісності між мережами.

Блокчейн索引器：більш оптимальне рішення

Блокчейн-індексатор відіграє ключову роль в організації даних на ланцюзі та їх передачі до бази даних для полегшення запитів, тому його часто називають "Гуглом блокчейну". Вони індексують дані блокчейну і використовують мову запитів, подібну до SQL (, таку як GraphQL API ), щоб дані завжди були доступні. Індексатори надають єдиний інтерфейс для запитів даних, що дозволяє розробникам швидко і точно отримувати потрібну інформацію з використанням стандартизованої мови запитів, що значно спрощує процес.

Різні типи індексаторів оптимізують отримання даних різними способами:

1. Повний вузол-індексатор: безпосередньо витягує дані з повного Блокчейн вузла, забезпечуючи повноту та точність даних, але потребує великої кількості пам'яті та обчислювальних потужностей.

2. Легкий індексатор: покладається на повні вузли для отримання специфічних даних за потребою, зменшуючи вимоги до зберігання, але можливо збільшуючи час запиту.

3. Спеціалізований індексатор: оптимізований для пошуку даних певного типу або Блокчейн, наприклад, даних NFT або транзакцій DeFi.

4. Агент з агрегування: витягує дані з кількох Блокчейн та джерел, включаючи поза ланцюгова інформація, надає єдиний інтерфейс запиту, особливо корисний для багатоланцюгових dApp.

Лише для Ethereum потрібно 3 ТБ пам'яті, з ростом Блокчейн обсяги даних архівних вузлів постійно зростають. Протокол індексатора розгортає кілька індексаторів, що дозволяє ефективно індексувати та швидко запитувати великі обсяги даних, чого не може досягти RPC.

Індексатор також дозволяє проводити складні запити, легко фільтрувати дані та виконувати подальший аналіз. Деякі індексатори можуть агрегувати дані з кількох джерел, уникаючи розгортання кількох API в багатоланцюгових dApp. Завдяки розподілу на кількох вузлах, індексатор забезпечує підвищену безпеку та продуктивність, тоді як постачальники RPC можуть зазнавати відключень та простоїв через централізовані властивості.

Загалом, на відміну від постачальників RPC-вузлів, індексатори підвищують ефективність та надійність отримання даних, одночасно знижуючи витрати на розгортання одного вузла. Це робить протокол індексації Блокчейн переважним вибором для розробників dApp.

Застосування індексаторів

Побудова dApp потребує пошуку та читання даних Блокчейн для роботи сервісу. Це охоплює різні типи dApp, включаючи DeFi, платформи NFT, ігри та навіть соціальні мережі, оскільки ці платформи спочатку повинні читати дані, перш ніж виконувати інші транзакції.

DeFi

DeFi протоколи потребують різної інформації для надання користувачам специфічних цін, ставок і зборів. Автоматичний маркет-мейкер (AMM) потребує інформації про ціни та ліквідність пулу для розрахунку ставки свопу, тоді як позикові протоколи повинні використовувати коефіцієнт використання для визначення ставок позики та співвідношення боргу при ліквідації. Перед розрахунком ставок, які виконують користувачі, введення інформації в dApp є необхідним.

Гра

GameFi потребує швидкої індексації та доступу до даних, щоб забезпечити користувачам плавний ігровий досвід. Лише через швидке отримання та виконання даних, Web3 ігри можуть змагатися з Web2 іграми за продуктивністю, залучаючи більше користувачів. Ці ігри потребують даних про право власності на землю, баланс внутрішньоігрових токенів, внутрішньоігрові операції тощо. Використання індексаторів може краще забезпечити стабільний потік даних та стабільний час роботи, гарантуючи ідеальний ігровий досвід.

NFT

NFT ринок і платформи кредитування потребують індексації даних для доступу до різної інформації, такої як метадані NFT, дані про право власності та передачу, інформація про роялті тощо. Швидка індексація таких даних може уникнути перегляду кожного NFT по одному для пошуку даних про право власності або атрибути.

Аналіз

Індексатор надає спосіб витягувати специфічні дані з сирих даних Блокчейн (, включаючи події смарт-контрактів у кожному Блок ). Це створює можливості для більш детального аналізу даних, що забезпечує всебічні інсайти.

Наприклад, протоколи безстрокової торгівлі можуть виявити, які токени мають великий обсяг торгівлі та генерують комісії, щоб вирішити, чи включати їх у безстрокові контракти на платформі. Розробники DEX можуть створити інформаційні панелі для своїх продуктів, щоб глибше зрозуміти, які пулі ліквідності мають найвищу прибутковість або найсильнішу ліквідність. Також можна створити публічні інформаційні панелі, які дозволяють розробникам вільно та гнучко запитувати будь-які типи даних для відображення на графіках.

Основний огляд індексаторів блокчейну

Граф

Graph є одним з перших протоколів індексації, запущених на Блокчейн, який дозволяє легко запитувати раніше важкодоступні дані про транзакції. Він використовує підграфи для визначення та фільтрації підмножини даних, зібраних з Блокчейн, наприклад, всі транзакції, пов'язані з певним пулом транзакцій.

Використовуючи індексне доказування, індексатор ставить на стейкінг рідні токени GRT для індексації та запитів, а делегати можуть вибирати, щоб ставити токени тут. Куртори можуть отримувати доступ до високоякісних підграфів, допомагаючи індексаторам визначити, для яких підграфів збирати дані, щоб заробити найкращі збори за запити. У процесі переходу до більшої децентралізації The Graph врешті-решт припинить надавати послуги хостингу, вимагаючи оновлення підграфів до своєї мережі, одночасно надаючи оновлені індексатори.

Її інфраструктура забезпечує середню вартість 40 доларів за мільйон запитів, що значно нижче, ніж у випадку з самостійно керованими вузлами. Використовуючи файлові джерела даних, вона також підтримує паралельне індексування як ончейнових, так і оффчейнових даних, що забезпечує ефективний пошук даних.

Нагороди індексаторів The Graph стабільно зростають протягом кількох кварталів, частково через збільшення обсягу запитів, а також через зростання ціни токенів. Вони планують в майбутньому інтегрувати запити з підтримкою ШІ.

Кальмари

Subsquid є пиринговим, горизонтально масштабованим децентралізованим озером даних, яке ефективно агрегує велику кількість ончейн і оффчейн даних, та захищає їх за допомогою нульових знань. Як децентралізована мережа виконавців, кожен вузол відповідає за зберігання даних конкретного підмножини Блоків, пришвидшуючи процес пошуку шляхом швидкого виявлення вузлів, що зберігають необхідні дані.

Subsquid підтримує реальний індекс, що дозволяє індексувати дані до остаточного підтвердження блоку. Він також підтримує зберігання даних у форматі, обраному розробниками, що полегшує аналіз за допомогою таких інструментів, як BigQuery, Parquet або CSV. Крім того, підграфи можуть бути безкодово розгорнуті в мережі Subsquid без необхідності міграції до Squid SDK.

Хоча він все ще перебуває на етапі тестової мережі, Subsquid досяг значних результатів, має понад 80 тисяч користувачів тестової мережі, розгорнув понад 60 тисяч індексаторів Squid, а в мережі є понад 20 тисяч розробників-верифікаторів. Нещодавно Subsquid запустив свою основну мережу для даних.

Окрім індексування, Data Lake мережі Subsquid може також замінити RPC у таких сценаріях, як аналіз, ZK/TEE ко-процесори, AI-агенти та оракули.

Підзапит

SubQuery є децентралізованою інфраструктурною мережею посередників, яка надає послуги RPC та індексування даних. Спочатку підтримувала мережі Polkadot та Substrate, тепер розширилася до понад 200 ланцюгів. Її робота схожа на The Graph, що використовує індексні докази; індексатор індексує дані та надає запити на запит, делегати ставлять свої частки на індексатор. Це вводить споживачів для подачі замовлень на купівлю, що свідчить про те, що доходи індексатора гарантовані, а не керівником.

Він впровадить підтримку шардованих вузлів даних SubQuery, щоб запобігти постійній синхронізації нових даних між вузлами, оптимізуючи ефективність запитів та рухаючись до більшої децентралізації. Користувачі можуть вибрати платити приблизно 1 SQT токен за кожні тисячу запитів або налаштувати власні збори для індексаторів через протокол.

Хоча SubQuery випустила токени лише цього року, винагороди за випуск для вузлів і делегатів зросли в доларовому еквіваленті в порівнянні з попереднім періодом, що свідчить про зростання кількості запитів, що пропонуються на її платформі. З моменту TGE загальна сума SQT, що знаходиться в стейкінгу, зросла з 600 тисяч до 125 мільйонів, що підкреслює зростання участі в мережі.

Ковалентні

Covalent є децентралізованою мережею індексаторів, що створюється виробниками зразків блоків (BSP) вузлами мережі шляхом масового експорту для створення копії даних Блокчейн, і публікується підтвердження на Covalent L1 Блокчейн. Ці дані потім уточнюються виробниками результатів блоків (BRP) вузлами згідно з правилами, відбираючи дані, що відповідають вимогам.

Завдяки єдиному API, розробники можуть легко витягувати відповідні дані Блокчейн в єдиному форматі, не пишучи складні запити для доступу до даних. Можна використовувати токени CQT, які розраховуються на Moonbeam, для отримання попередньо налаштованих наборів даних від операторів мережі.

Нагороди Covalent з першого кварталу 23 року до першого кварталу 24 року загалом мають тенденцію до зростання, частково через зростання ціни CQT.

Фактори вибору індексатора

Налаштування даних

Деякі індексатори (, такі як Covalent ), є загальними індексаторами, які надають стандартні попередньо налаштовані набори даних лише через API. Хоча вони швидкі, але їм не вистачає гнучкості, щоб задовольнити потреби розробників, які потребують користувальницьких наборів даних. Використання рамки індексатора дозволяє більше настроювати обробку даних для задоволення специфічних потреб додатків.

Безпека

Інформація індексу повинна бути безпечною, інакше dApp, побудовані на цих індексах, також можуть бути вразливими до атак. Якщо транзакції та залишки гаманців можуть бути маніпульовані, dApp може втратити ліквідність, що вплине на користувачів. Хоча всі індексатори використовують певну форму безпеки через стейкінг токенів, інші рішення можуть використовувати додаткові докази для підвищення безпеки.

Subsquid надає оптимістичні та нульові знання про варіанти доказів, Covalent випускає докази, що містять хеші блоків. Graph пропонує оптимістичний виклик вікна для запитів індексаторів, SubQuery генерує Merkle Mountain доказ для кожного блоку, обчислюючи хеші всіх даних у своїй базі даних для кожного блоку.

Швидкість та масштабованість

Зі зростанням Блокчейн, обсяги торгівлі зростають, індексація великої кількості даних стає більш складною, необхідно більше обробної потужності та місця для зберігання. Підтримувати ефективність стає важче, але протокол індексації пропонує рішення для задоволення цих зростаючих потреб.

Subsquid реалізує горизонтальне масштабування, додаючи більше вузлів для зберігання даних, що дозволяє масштабуватися з покращенням апаратного забезпечення. Graph забезпечує паралельний потік даних для прискорення синхронізації, а SubQuery впроваджує шардінг вузлів для прискорення процесу синхронізації.

Підтримувані мережі

Хоча більшість активності блокчейну все ще відбувається в Ethereum, з часом різні блокчейни стають все більш популярними. Layer 2, Solana, Move Блокчейн та екосистема Bitcoin мають своїх постійно зростаючих розробників та активність, а також потребують сервісів індексації.

Підтримка певних ланцюгів, які не підтримуються іншими протоколами індексації, може призвести до отримання більшої частки ринку. Індексація даних, що є об'єктом інтенсивного використання мережі (, таких як Solana ), не є простим завданням, наразі лише Subsquid успішно надає підтримку індексації для них.

![Розвиток доступу до даних Web3: індексатор