Децентралізація зберігання: історія розвитку та майбутні перспективи

Зберігання було одним із популярних напрямків у сфері блокчейну. Filecoin, як провідний проект попереднього бичачого ринку, колись мав капіталізацію понад 10 мільярдів доларів. Arweave спеціалізується на постійному зберіганні, досягаючи максимальної капіталізації у 3,5 мільярда доларів. Проте з огляду на те, що практичність зберігання холодних даних була поставлена під сумнів, перспективи децентралізованого зберігання також викликають питання.

Нещодавнє з'явлення Walrus привернуло нову увагу до наративу зберігання, який давно перебував у затишку. А проект Shelby, запущений Aptos у співпраці з Jump Crypto, намагається підняти децентралізоване зберігання в області гарячих даних на новий рівень. Чи зможе децентралізоване зберігання повернутися та стати широко використовуваною інфраструктурою? Чи це просто ще один раунд спекуляцій? У цій статті ми проаналізуємо еволюцію наративу децентралізованого зберігання, виходячи з розвитку чотирьох проектів: Filecoin, Arweave, Walrus і Shelby, та обговоримо його майбутні напрямки розвитку.

Filecoin: зберігання лише зовнішність, видобуток - це суть

Filecoin є одним із ранніх криптовалютних проектів, розвиток якого зосереджений на Децентралізації. Це загальна риса ранніх криптопроектів - шукати значення Децентралізації в різних традиційних сферах. Filecoin намагається поєднати зберігання даних із Децентралізацією, висловлюючи думку про те, що централізоване зберігання даних має ризики довіри. Проте деякі компроміси, зроблені для досягнення Децентралізації, стали болючими місцями, які пізніше намагалися вирішити такі проекти, як Arweave або Walrus.

Щоб зрозуміти, чому Filecoin по суті є лише майнінговою монетою, потрібно зрозуміти об'єктивні обмеження його базової технології IPFS, яка не підходить для зберігання гарячих даних.

IPFS:Децентралізація архітектура, але обмежена вузьким місцем у передачі

IPFS(Міжзоряна файлова система)з'явилася ще в 2015 році, маючи на меті революціонізувати традиційний протокол HTTP через адресацію вмісту. Але найбільшою проблемою IPFS є надзвичайно повільна швидкість отримання. В епоху, коли традиційні постачальники даних можуть досягати мілісекундних відповідей, отримання файлу в IPFS все ще займає десятки секунд, що ускладнює його впровадження в практичному застосуванні та пояснює, чому, крім кількох проектів на блокчейні, він рідко використовується в традиційних галузях.

P2P-протокол, що лежить в основі IPFS, в основному підходить для "холодних даних" - рідко змінюваного статичного контенту, такого як відео, зображення та документи. Але при обробці гарячих даних, таких як динамічні веб-сторінки, онлайн-ігри або AI-додатки, P2P-протокол не має суттєвих переваг у порівнянні з традиційними CDN.

Хоча IPFS сам по собі не є блокчейном, але його концепція проектування на основі орієнтованого ациклічного графа (DAG) дуже добре співвідноситься з багатьма публічними блокчейнами та протоколами Web3, що робить його природно придатним як основну конструкцію для блокчейнів. Тому, навіть якщо йому бракує практичної цінності, як основна структура для підтримки блокчейн-нарративу цього достатньо. Ранні проекти-копії потребували лише працездатної структури, щоб розпочати грандіозне бачення, але коли Filecoin досяг певного етапу, обмеження, які приносить IPFS, почали заважати його подальшому розвитку.

Логіка монет для зберігання під зовнішньою оболонкою

Дизайн IPFS був задуманий так, щоб користувачі могли зберігати дані та водночас стати частиною мережі зберігання. Однак без економічних стимулів користувачам важко добровільно використовувати цю систему, не кажучи вже про те, щоб стати активними зберігальними вузлами. Це означає, що більшість користувачів просто зберігатимуть файли в IPFS, але не будуть вносити свій простір для зберігання, а також не зберігатимуть файли інших. Саме в такому контексті з'явився Filecoin.

У токеноміці Filecoin основними ролями є три: користувачі відповідають за сплату витрат на зберігання даних; зберігаючі майнери отримують токенні винагороди за зберігання даних користувачів; майнери пошуку надають дані за запитом користувачів і отримують винагороду.

Ця модель має потенційний простір для зловживань. Зберігаючі майнери можуть заповнювати сміттєвими даними після надання зберігання, щоб отримати винагороду. Оскільки ці сміттєві дані не будуть вилучені, навіть якщо вони будуть втрачені, це не спровокує механізм штрафів для зберігаючих майнерів. Це дозволяє зберігаючим майнерам видаляти сміттєві дані та повторювати цей процес. Консенсус доказу копіювання Filecoin може лише гарантувати, що дані користувача не були видалені без відома, але не може запобігти заповненню сміттєвими даними з боку майнерів.

Функціонування Filecoin в значній мірі залежить від постійних вкладень майнерів у токеноміку, а не від реального попиту кінцевих користувачів на розподілене зберігання. Незважаючи на те, що проект все ще продовжує ітерації, на даному етапі побудова екосистеми Filecoin більше відповідає визначенню "логіки майнінгу", а не "додаток-орієнтованого" зберігання.

Arweave: народжений довгостроковою стратегією, зазнав поразки через довгострокову стратегію

Якщо метою дизайну Filecoin є побудова стимулюючої, доведеної Децентралізація "хмари даних", то Arweave йде в іншому напрямку зберігання до екстремуму: надаючи даним можливість постійного зберігання. Arweave не намагається побудувати розподілену обчислювальну платформу, вся його система базується на одній ключовій гіпотезі - важливі дані повинні зберігатися одноразово і назавжди залишатися в мережі. Цей екстремальний довгостроковий підхід робить Arweave суттєво відмінним від Filecoin в механізмі, моделі стимулювання, вимогах до апаратного забезпечення та наративному аспекті.

Arweave використовує біткойн як об'єкт навчання, намагаючись протягом тривалого періоду, що вимірюється роками, постійно оптимізувати свою мережу постійного зберігання. Arweave не переймається маркетингом і не звертає уваги на конкурентів та тенденції розвитку ринку. Він просто продовжує рухатися вперед у процесі ітерації архітектури мережі, навіть якщо ніхто не звертає на це уваги, адже це і є суть команди розробників Arweave: довгостроковість. Завдяки довгостроковості, Arweave отримав великий попит під час попереднього бичачого ринку; також через довгостроковість, навіть якщо впаде на дно, Arweave все ще може пережити кілька циклів бичачого та ведмежого ринку. Але чи має Arweave своє місце в майбутньому децентралізованому зберіганні? Існування вартості постійного зберігання може бути доведено лише часом.

Основна мережа Arweave з версії 1.5 до останньої версії 2.9, хоча і втратила обговорення на ринку, все ж продовжує працювати над тим, щоб залучити ширше коло майнерів з мінімальними витратами на участь у мережі та стимулювати майнерів максимально зберігати дані, що постійно підвищує міцність усієї мережі. Arweave добре усвідомлює, що не відповідає уподобанням ринку, обирає обережний шлях, не обіймає спільноту майнерів, екосистема повністю застигла, оновлюючи основну мережу з мінімальними витратами, постійно знижуючи апаратні вимоги без шкоди для безпеки мережі.

Огляд шляху вдосконалення 1.5-2.9

Версія Arweave 1.5 виявила вразливість, що дозволяє майнерам покладатися на стекування GPU, а не на реальне зберігання, щоб оптимізувати ймовірність видобутку нових блоків. Щоб стримати цю тенденцію, версія 1.7 впроваджує алгоритм RandomX, обмежуючи використання спеціалізованої обчислювальної потужності, натомість вимагаючи участі універсальних ЦП у майнінгу, що зменшує централізацію обчислювальної потужності.

У версії 2.0 Arweave використовує SPoA, перетворюючи доказ даних на стиснутий шлях структури дерев Меркла та вводячи транзакції формату 2 для зменшення навантаження на синхронізацію. Ця архітектура зменшує тиск на мережеву пропускну здатність, значно посилюючи здатність вузлів до співпраці. Однак деякі майнери все ще можуть уникати відповідальності за реальне володіння даними шляхом використання централізованих стратегій швидкого зберігання.

Для виправлення цього перекосу, в 2.4 запроваджено механізм SPoRA, що вводить глобальний індекс та повільний хеш-случайний доступ, що зобов'язує майнерів реально володіти блоками даних для участі в ефективному видобутку, зменшуючи ефект накопичення обчислювальної потужності. В результаті, майнери почали звертати увагу на швидкість доступу до зберігання, що сприяло впровадженню SSD та високошвидкісних пристроїв читання/запису. У 2.6 запроваджено контроль темпу видобутку хеш-ланцюгом, що врівноважує граничну вигоду високопродуктивних пристроїв, забезпечуючи справедливий простір для участі середніх та малих майнерів.

Наступні версії подальше зміцнення мережевої співпраці та різноманітності зберігання: 2.7 додає механізм кооперативного видобутку та майнінгових пулів, підвищуючи конкурентоспроможність малих майнерів; 2.8 впроваджує механізм комплексної упаковки, що дозволяє великим об'ємам повільних пристроїв гнучко брати участь; 2.9 вводить новий процес упаковки у форматі replica_2_9, значно підвищуючи ефективність та знижуючи залежність від обчислень, завершуючи замкнуту петлю моделі видобутку, орієнтованої на дані.

В цілому, шлях оновлення Arweave чітко демонструє його довгострокову стратегію, орієнтовану на зберігання: постійно протистоячи тенденції концентрації обчислювальної потужності, знижуючи поріг участі, щоб забезпечити можливість тривалої роботи протоколу.

Walrus: Обіймаючи гарячі дані, це спекуляція чи прихована глибина?

Walrus з точки зору дизайну повністю відрізняється від Filecoin та Arweave. Вихідна точка Filecoin – створення децентралізованої перевірної системи зберігання, ціною якої є зберігання холодних даних; вихідна точка Arweave – створення онлайнової бібліотеки Олександра, яка може зберігати дані назавжди, ціною якої є занадто мало сценаріїв; вихідна точка Walrus – оптимізація витрат на зберігання протоколу для гарячих даних.

Магічна модифікація коду корекції: інновація витрат чи нова пляшка для старого вина?

У дизайні витрат на зберігання Walrus вважає, що витрати на зберігання Filecoin і Arweave є нерозумними, оскільки обидва використовують архітектуру повного копіювання, основна перевага якої полягає в тому, що кожен вузол має повну копію, що забезпечує високу стійкість до помилок та незалежність між вузлами. Така архітектура може гарантувати, що навіть якщо частина вузлів вийде з ладу, мережа все ще має доступність даних. Однак це також означає, що системі потрібно багаторазове резервування, щоб підтримувати надійність, що збільшує витрати на зберігання. Особливо в дизайні Arweave механізм консенсусу сам по собі заохочує резервне зберігання вузлів для підвищення безпеки даних. У порівнянні з цим, Filecoin має більшу гнучкість у контролі витрат, але це має свою ціну, оскільки деякі низьковартісні рішення для зберігання можуть мати вищий ризик втрати даних. Walrus намагається знайти баланс між цими двома, його механізм контролює витрати на копіювання, одночасно підвищуючи доступність через структуроване резервування, встановлюючи новий компроміс між доступністю даних та ефективністю витрат.

Redstuff, створений Walrus, є ключовою технологією для зменшення надмірності вузлів, яка базується на кодуванні Reed-Solomon(RS). RS-кодування є дуже традиційним алгоритмом для кодування з виправленням помилок, що дозволяє подвоїти набір даних за допомогою додавання надмірних фрагментів(erasure code) для відновлення оригінальних даних. Від CD-ROM до супутникового зв'язку та QR-кодів, він часто використовується в повсякденному житті.

Код виправлення дозволяє користувачам отримувати один блок, наприклад, обсягом 1 МБ, а потім "збільшувати" його до 2 МБ, де додатковий 1 МБ є спеціальними даними, які називаються кодом виправлення. Якщо будь-який байт у блоці втрачається, користувач може легко відновити ці байти за допомогою коду. Навіть якщо втрачається блок обсягом до 1 МБ, ви можете відновити весь блок. Така ж технологія дозволяє комп'ютерам читати всі дані з CD-ROM, навіть якщо він пошкоджений.

Наразі найпоширенішим є кодування RS. Спосіб реалізації полягає в тому, щоб почати з k інформаційних блоків, побудувати відповідний багаторазовий поліном і оцінити його в різних координатах x, щоб отримати закодовані блоки. Використовуючи RS-коди виправлення помилок, ймовірність випадкової вибірки втрати великих обсягів даних є дуже малою.

Наведемо приклад: розділити файл на 6 даних блоків та 4 контрольних блоки, всього 10 частин. Досить зберегти будь-які 6 частин, щоб повністю відновити вихідні дані.

Переваги: висока стійкість до помилок, широко використовується в CD/DVD, безвідмовних дискових масивах (RAID), а також у системах хмарного зберігання (, таких як Azure Storage, Facebook F4).

Недоліки: складність обчислення декодування, висока вартість; не підходить для сценаріїв з частими змінами даних. Тому зазвичай використовується для відновлення даних і розподілу в централізованому середовищі поза ланцюгом.

У децентралізованій архітектурі Storj та Sia адаптували традиційне кодування RS для задоволення реальних потреб розподіленої мережі. Walrus також на цій основі запропонував свій власний варіант - алгоритм кодування RedStuff, щоб реалізувати більш економічний та гнучкий механізм надмірного зберігання.

Яка основна характеристика Redstuff? Завдяки вдосконаленню алгоритму кодування з корекцією помилок, Walrus може швидко та надійно кодувати неструктуровані блоки даних у менші фрагменти, які зберігаються в мережі зберігання вузлів. Навіть якщо втрачається до двох третин фрагментів, оригінальний блок даних можна швидко реконструювати за допомогою частини фрагментів. Це стало можливим за умови, що фактор реплікації становить лише 4-5 разів.

Тому визначити Walrus як легкий протокол надмірності та відновлення, перепроектований навколо децентралізаційного сценарію, є розумним. На відміну від традиційних кодів корекції помилок (, таких як Reed-Solomon ), RedStuff більше не прагне до суворої математичної узгодженості, а здійснює реалістичний компроміс з точки зору розподілу даних, перевірки зберігання та витрат на обчислення. Ця модель відмовляється від централізованого планування.