Від джерела даних до інтелектуального аналізу: еволюція технологій індексації даних Блокчейн

1. Вступ

З моменту появи перших децентралізованих додатків (dApp) у 2017 році, екосистема блокчейн-додатків значно розвинулась. Обговорюючи ці dApp, чи замислювались ми коли-небудь над джерелами різних даних, які вони використовують?

У 2024 році штучний інтелект і Web3 стали гарячими темами. У сфері ШІ дані є джерелом його зростання та еволюції. Як рослинам потрібне сонце та волога, так і системи ШІ залежать від величезних обсягів даних для безперервного навчання та мислення. Без підтримки даних навіть найсучасніші алгоритми ШІ не можуть розкрити свій потенціал.

Ця стаття глибоко аналізує еволюцію індексації даних у процесі розвитку галузі з точки зору доступності даних Блокчейн, а також порівнює традиційні протоколи індексації даних з новими протоколами сервісів даних Блокчейн, обговорюючи особливості нових протоколів, що поєднують технології ШІ, у сервісах даних та архітектурі продуктів.

2. Еволюція індексації даних: від вузлів Блокчейн до повноцінної бази даних

2.1 Джерело даних: Блокчейн вузол

Блокчейн часто описується як децентралізована книга обліку. Вузли Блокчейн є основою всієї мережі, відповідальні за запис, зберігання та поширення всіх даних транзакцій на ланцюгу. Кожен вузол має повну копію даних Блокчейн, підтримуючи децентралізовану природу мережі. Однак для звичайних користувачів створення та обслуговування вузлів не є легким завданням, адже це вимагає професійних знань і пов'язане з високими витратами. Тим часом, можливості звичайних вузлів щодо запитів обмежені, і це не може задовольнити потреби розробників. Тому користувачі зазвичай покладаються на сторонні послуги.

Щоб вирішити цю проблему, з'явилися постачальники RPC-нод. Вони відповідають за управління вузлами, забезпечуючи доступ до даних через RPC-інтерфейси. Загальні RPC-інтерфейси безкоштовні, але мають обмеження швидкості, що може вплинути на досвід користувачів dApp. Приватні RPC-інтерфейси забезпечують кращу продуктивність, але є неефективними для складних запитів і важкими для масштабування. Проте стандартизовані API-інтерфейси постачальників вузлів знижують поріг входження для користувачів у доступі до даних на ланцюзі, закладаючи основу для подальших застосувань даних.

2.2 Аналіз даних: від сирих даних до корисних даних

Дані, що надаються вузлами Блокчейн, зазвичай обробляються шляхом шифрування та кодування. Ці дані зберігають цілісність і безпеку Блокчейн, але ускладнюють їх аналіз. Для звичайних користувачів або розробників безпосередня обробка цих даних вимагає значних технічних знань і обчислювальних ресурсів.

Процес解析ування даних у цьому контексті є особливо важливим. Перетворюючи складні сирі дані в більш зрозумілий і зручний для роботи формат, користувачі можуть більш наочно використовувати ці дані. Якість解析ування безпосередньо впливає на ефективність і результати застосування даних Блокчейн, є ключовим етапом у всьому процесі індексації даних.

2.3 Розвиток індексаторів даних

З ростом обсягу даних Блокчейн зростає попит на індексатори даних. Індексатори відповідають за організацію даних на ланцюзі та їх надсилання до бази даних для запитів. Вони індексують дані Блокчейн і надають API-інтерфейси, такі як GraphQL(, з класичними SQL запитами ), що робить дані завжди доступними. Індексатори надають розробникам єдиний інтерфейс запитів, значно спрощуючи процес отримання даних.

Різні типи індексаторів оптимізують способи пошуку даних по-різному:

1. Повний вузол індексатор: безпосередньо витягує дані з повного вузла, забезпечуючи цілісність даних, але потребує великої кількості пам'яті та обробної потужності.
2. Легкий індексатор: покладається на повні вузли для отримання специфічних даних за запитом, зменшуючи вимоги до зберігання, але може збільшити час запиту.
3. Спеціалізований індексатор: для оптимізації даних певного типу або Блокчейн, таких як дані NFT або DeFi-транзакції.
4. Агент агрегування: витягує дані з кількох Блокчейн та джерел, включаючи інформацію поза ланцюгом, надає єдиний інтерфейс для запитів, підходить для багатоланцюгових dApp.

Наразі вимоги до зберігання архівних вузлів Ethereum суттєво різняться в залежності від клієнтів. Перед обличчям величезних обсягів даних, основні протоколи індексації підтримують не лише багатоланцеве індексування, але й налаштували структури обробки даних відповідно до різних потреб додатків.

Поява індексаторів значно підвищила ефективність індексації та запиту даних. На відміну від традиційних RPC-інтерфейсів, індексатори можуть ефективно індексувати великі обсяги даних, підтримуючи швидкі складні запити та фільтрацію даних. Деякі індексатори також підтримують агрегацію джерел даних з кількох Блокчейн, уникаючи проблеми розгортання кількох API для багатоланцюгових dApp. Розподілене виконання забезпечує більшу безпеку та продуктивність, зменшуючи ризики, пов'язані з централізованими постачальниками RPC.

2.4 Повна база даних Блокчейн: орієнтація на пріоритет потоку

Використання індексних вузлів для запиту даних зазвичай робить API єдиними воротами для обробки даних на Блокчейн. Проте, коли проєкти переходять до етапу розширення, часто потрібні більш гнучкі джерела даних. З ускладненням вимог застосування, первинні індексатори даних не в змозі задовольнити різноманітні вимоги до запитів, такі як пошук, міжмережевий доступ або відображення даних поза мережею.

У сучасній архітектурі даних, метод "потоковий пріоритет" став рішенням для подолання обмежень традиційної пакетної обробки, забезпечуючи обробку та аналіз даних в реальному часі. Постачальники послуг даних на блокчейні також розвиваються в напрямку побудови потоків даних, запроваджуючи продукти для отримання даних з блокчейну в реальному часі у форматі потоків.

Ці послуги спрямовані на вирішення потреби в реальному розборі транзакцій Блокчейн та забезпеченні всебічних можливостей запиту. Переформулювавши виклики управління, зберігання та надання даних в ланцюгу з точки зору сучасних даних, ми маємо можливість подивитися на потенціал управління, зберігання та надання даних в ланцюгу з нової перспективи.

3. Поєднання штучного інтелекту та бази даних: Порівняння The Graph, Chainbase та Space and Time

3.1 Граф

Мережа The Graph реалізує мульти-ланцюговий індекс і послуги запиту даних через децентралізовану мережу вузлів, що спрощує розробникам індексацію даних блокчейну і створення dApp. Її основні продуктові моделі включають ринок виконання запитів даних та ринок кешування індексів даних, які задовольняють потреби користувачів у запитах продуктів.

Підграф є основною структурою даних мережі The Graph, що визначає, як витягувати та перетворювати дані з Блокчейн у запитуваний формат. Мережа складається з чотирьох ключових ролей: індексаторів, кураторів, делегаторів та розробників, які забезпечують функціонування системи через економічні стимули.

Продукти The Graph також швидко розвиваються в умовах AI-руху. Інструменти, розроблені Semiotic Labs, такі як AutoAgora, Allocation Optimizer та AgentC, відповідно оптимізують цінову стратегію, розподіл ресурсів та користувацький досвід, підвищуючи інтелектуальність системи та зручність для користувачів.

3.2 Ланцюгова база

Chainbase є всесвітньою мережею даних Блокчейн, що інтегрує всі дані Блокчейн в одній платформі. Його особливості включають:

• Реальний дата-озеро: надає спеціалізоване реальне дата-озеро для потоків даних Блокчейн.
• Дворівнева архітектура: побудована на виконувальному рівні на основі Eigenlayer AVS, у парній архітектурі з алгоритмом консенсусу CometBFT.
• Інноваційний стандарт формату даних: впровадження стандарту формату даних "manuscripts".
• Модель криптовсесвіту: поєднуючи технології AI моделей, створити AI модель Theia, яка може розуміти та передбачати Блокчейн транзакції.

AI-модель Theia від Chainbase базується на моделі DORA від NVIDIA, поєднуючи аналіз даних на ланцюгу та поза ним у криптографічному режимі, щоб надати користувачам інтелектуальні дані послуги.

3.3 Простір і час

Space and Time (SxT) прагне створити перевіряємий обчислювальний шар, розширюючи нульові знання на децентралізованому сховищі даних. Їхня інноваційна технологія Proof of SQL забезпечує незмінність і перевіряємість SQL запитів, пропонуючи рішення для галузей з високими вимогами до надійності даних.

SxT співпрацює з лабораторією інновацій Microsoft AI для розробки інструментів генеративного AI, що полегшують користувачам обробку даних блокчейну за допомогою обробки природної мови. Користувачі можуть вивчити в Space and Time Studio, як AI автоматично перетворює природну мову в SQL та виконує запити.

Висновок та перспективи

Технологія індексації даних Блокчейн спочатку від джерела даних вузлів, через розвиток解析у даних і індексаторів, врешті-решт еволюціонувала в повноцінний сервіс даних з підтримкою ШІ, пройшовши процес поступового вдосконалення. Ця еволюція технологій не лише підвищила ефективність і точність доступу до даних, але й принесла інтелектуальний досвід.

У майбутньому, з розвитком нових технологій, таких як AI-технології та нульові докази, послуги блокчейн-даних стануть ще більш інтелектуальними і безпечними. Як інфраструктура, послуги блокчейн-даних продовжать підтримувати прогрес і інновації в галузі.