Децентрализация хранения: история развития и будущее

Хранение когда-то было одной из популярных ниш в индустрии блокчейна. Filecoin, как ведущий проект предыдущего бычьего рынка, на время превысил рыночную капитализацию в 10 миллиардов долларов. Arweave предлагает постоянное хранение, достигая максимальной рыночной капитализации в 3,5 миллиарда долларов. Но с учетом сомнений в практичности хранения холодных данных, перспективы Децентрализация хранения также подвергаются сомнению.

Недавнее появление Walrus привлекло новое внимание к давно затишью нарративу о хранении данных. Проект Shelby, запущенный в сотрудничестве Aptos и Jump Crypto, пытается поднять децентрализованное хранение в области «горячих» данных на новые высоты. Так сможет ли децентрализованное хранение вернуться и стать широко используемой инфраструктурой? Или это всего лишь еще один раунд спекуляций? В этой статье мы проанализируем эволюцию нарратива о децентрализованном хранении, исходя из развития четырех проектов: Filecoin, Arweave, Walrus и Shelby, и обсудим направления его будущего развития.

Filecoin: Хранение - это лишь внешнее проявление, а майнинг - это суть

Filecoin является одним из ранних криптовалютных проектов, развитие которого сосредоточено на Децентрализации. Это общая характеристика ранних криптопроектов - поиск значения Децентрализации в различных традиционных областях. Filecoin пытается объединить хранение и Децентрализацию, выдвигая мнение о том, что централизованное хранение данных несет риски доверия. Однако некоторые компромиссы, сделанные для достижения Децентрализации, стали болевыми точками, которые позже попытались решить такие проекты, как Arweave или Walrus.

Чтобы понять, почему Filecoin по сути является лишь монетой для майнинга, необходимо понять объективные ограничения его базовой технологии IPFS, которая не подходит для хранения горячих данных.

IPFS:Децентрализация архитектура, но ограничена узкими местами передачи

IPFS( Межзвёздная файловая система) была создана ещё в 2015 году с целью революционизировать традиционный протокол HTTP с помощью адресации по содержимому. Однако главной проблемой IPFS является крайне медленная скорость получения данных. В эпоху, когда традиционные провайдеры данных могут достигать миллисекундной реакции, получение файла через IPFS занимает десятки секунд, что затрудняет его внедрение в практическое использование и объясняет, почему, кроме нескольких блокчейн-проектов, он редко используется в традиционных отраслях.

P2P-протокол на основе IPFS в основном подходит для "холодных данных" - статического контента, который редко изменяется, такого как видео, изображения и документы. Однако при работе с горячими данными, такими как динамические веб-страницы, онлайн-игры или AI-приложения, P2P-протокол не имеет явных преимуществ по сравнению с традиционными CDN.

Хотя IPFS сам по себе не является блокчейном, его концепция проектирования на основе направленного ациклического графа (DAG) в сочетании с многими публичными блокчейнами и протоколами Web3 делает его естественно подходящим в качестве основного строительного каркаса для блокчейна. Поэтому, даже если не хватает практической ценности, как основная структура для реализации блокчейн-рассказов этого уже достаточно. Ранние проекты-клоны могли начинать свои амбициозные мечты, имея лишь работающую структуру, но когда Filecoin достиг определенной стадии, ограничения, накладываемые IPFS, начали препятствовать его дальнейшему развитию.

Логика майнинговых монет под внешней оболочкой

Дизайн IPFS изначально заключался в том, чтобы позволить пользователям одновременно хранить данные и быть частью сети хранения. Однако без экономических стимулов пользователям трудно добровольно использовать эту систему, не говоря уже о том, чтобы стать активными узлами хранения. Это означает, что большинство пользователей просто будут хранить файлы на IPFS, но не будут вносить свой собственный объем хранения и не будут хранить файлы других. Именно на этом фоне появился Filecoin.

В токеномической модели Filecoin основными ролями являются три участника: пользователи, которые несут ответственность за оплату за хранение данных; майнеры хранения, которые получают токеновые стимулы за хранение данных пользователей; и майнеры поиска, которые предоставляют данные по запросу пользователей и получают вознаграждение.

Эта модель имеет потенциальное пространство для злоупотреблений. Хранители данных могут после предоставления места для хранения заполнять его мусорными данными, чтобы получить вознаграждение. Поскольку эти мусорные данные не будут извлечены, даже их потеря не вызовет механизма штрафов для хранителей данных. Это позволяет хранителям данных удалять мусорные данные и повторять этот процесс. Консенсус доказательства репликации Filecoin может только гарантировать, что пользовательские данные не были удалены без ведома, но не может предотвратить заполнение мусорными данными.

Работа Filecoin в значительной степени зависит от постоянных вложений майнеров в токеномику, а не от реального спроса конечных пользователей на распределенное хранилище. Хотя проект продолжает итерации, на текущем этапе создание экосистемы Filecoin больше соответствует определению «логики майнинга», чем «приложению-ориентированного» проекта хранения.

Arweave: Успех в долгосрочной перспективе, провал в долгосрочной перспективе

Если сказать, что цель дизайна Filecoin состоит в создании стимулирующей, доказуемой Децентрализации "облака данных", то Arweave идет в другом направлении хранения к крайней мере: предоставляя возможность постоянного хранения данных. Arweave не пытается создать распределенную вычислительную платформу; вся его система основана на одной ключевой гипотезе - важные данные должны храниться один раз и оставаться в сети навсегда. Этот крайний долгосрочный подход делает Arweave совершенно отличным от Filecoin во всем: от механизмов до модели стимулов, от требований к аппаратному обеспечению до нарратива.

Arweave использует биткойн в качестве объекта изучения и пытается постоянно оптимизировать свою сеть постоянного хранения на протяжении долгих периодов времени, измеряемых годами. Arweave не заботится о маркетинге, не интересуется конкурентами и тенденциями развития рынка. Он просто продолжает двигаться вперед по пути итерации сетевой архитектуры, даже если о нем никто не заботится, потому что это суть команды разработчиков Arweave: долгосрочное мышление. Благодаря долгосрочному мышлению, Arweave пользовался огромной популярностью в прошлом бычьем рынке; и именно благодаря долгосрочному мышлению, даже упав на дно, Arweave может пережить несколько раундов бычьих и медвежьих рынков. Но будет ли у Arweave место в будущем децентрализованном хранении?

С момента версии 1.5 до последней версии 2.9 основная сеть Arweave, несмотря на потерю популярности на рынке, продолжает стремиться к тому, чтобы более широкий круг майнеров мог участвовать в сети с минимальными затратами и поощрять майнеров максимально хранить данные, тем самым постоянно повышая надежность всей сети. Arweave осознает, что не соответствует рыночным предпочтениям, придерживается консервативного подхода, не принимает сообщества майнеров, экосистема полностью застопорилась, и с минимальными затратами обновляет основную сеть, постоянно снижая аппаратные требования при этом не нанося ущерба безопасности сети.

Обзор пути обновления 1.5-2.9

Версия Arweave 1.5 обнажила уязвимость, при которой майнеры могут полагаться на стек GPU вместо реального хранилища для оптимизации шансов на создание блока. Чтобы сдержать эту тенденцию, версия 1.7 вводит алгоритм RandomX, ограничивающий использование специализированных вычислительных мощностей и требующий участия универсальных ЦПУ в майнинге, тем самым ослабляя централизацию вычислительной мощности.

В версии 2.0 Arweave использует SPoA, преобразуя доказательства данных в упрощенный путь структуры Меркла, и вводит транзакции формата 2 для снижения нагрузки на синхронизацию. Эта архитектура облегчает давление на сетевую полосу пропускания, значительно повышая способность узлов к совместной работе. Однако некоторые майнеры все еще могут избегать ответственности за фактическое хранение данных с помощью стратегии централизованных высокоскоростных хранилищ.

Чтобы исправить это смещение, в версии 2.4 была введена механика SPoRA, которая включает глобальный индекс и медленный хэш-случайный доступ, что делает необходимым для майнеров реально обладать блоками данных для участия в эффективном создании блоков, тем самым ослабляя эффект накопления вычислительной мощности. В результате майнеры начали обращать внимание на скорость доступа к хранилищу, что привело к применению SSD и устройств с высокой скоростью чтения и записи. В версии 2.6 была введена цепочка хешей для контроля темпа создания блоков, что сбалансировало предельные выгоды высокопроизводительных устройств и обеспечило справедливое участие для мелких и средних майнеров.

В последующих версиях будет усилена способность сетевого сотрудничества и разнообразие хранения: 2.7 добавляет механизм совместного майнинга и майнинг-пулов, повышающий конкурентоспособность мелких майнеров; 2.8 представляет механизм композитной упаковки, позволяющий устройствам с большой емкостью и низкой скоростью гибко участвовать; 2.9 вводит новый процесс упаковки в формате replica_2_9, значительно повышая эффективность и снижая зависимость от вычислений, завершая замкнутую модель майнинга, ориентированную на данные.

В целом, путь обновления Arweave ясно демонстрирует его долгосрочную стратегию, ориентированную на хранение: постоянно противостояя тенденции концентрации вычислительной мощности, продолжает снижать пороги участия, обеспечивая возможность долгосрочной работы протокола.

Walrus: Объятия горячих данных - это маркетинг или скрытая суть?

С точки зрения концепции, Walrus совершенно отличается от Filecoin и Arweave. Основная идея Filecoin заключается в создании децентрализованной и проверяемой системы хранения, чем жертвуется хранение холодных данных; основная идея Arweave заключается в создании онлайновой Александрийской библиотеки, которая может хранить данные навсегда, чем жертвуется слишком малое количество сценариев; основная идея Walrus заключается в оптимизации затрат на хранение протокола горячих данных.

Магические изменения кодов исправления: инновация в стоимости или старая в новой упаковке?

В плане проектирования затрат на хранение Walrus считает, что затраты на хранение Filecoin и Arweave являются неразумными, так как оба используют архитектуру полной репликации, основное преимущество которой заключается в том, что каждый узел имеет полную копию, что обеспечивает высокую устойчивость к сбоям и независимость узлов. Такая архитектура гарантирует, что даже если часть узлов отключена, сеть все равно будет иметь доступность данных. Однако это также означает, что системе требуется многократная избыточность для поддержания устойчивости, что, в свою очередь, приводит к увеличению затрат на хранение. Особенно в дизайне Arweave механизм консенсуса сам поощряет избыточное хранение узлов для повышения безопасности данных. В отличие от этого, Filecoin более гибок в контроле затрат, но ценой этого является то, что некоторые низкозатратные хранилища могут иметь более высокий риск потери данных. Walrus пытается найти баланс между двумя, его механизм контролирует затраты на репликацию, одновременно увеличивая доступность с помощью структурированной избыточности, тем самым устанавливая новый компромисс между доступностью данных и эффективностью затрат.

Redstuff, созданный Walrus, является ключевой технологией для снижения избыточности узлов и основан на кодировании Рида-Соломона ( RS ). Кодирование RS — это очень традиционный алгоритм кодирования с исправлением ошибок, который позволяет удвоить набор данных, добавляя избыточные фрагменты ( erasure code ), что может быть использовано для восстановления оригинальных данных. От CD-ROM до спутниковой связи и до QR-кодов, он часто используется в повседневной жизни.

Код коррекции ошибок позволяет пользователям получать блок, например, размером 1 МБ, а затем "увеличивать" его до 2 МБ, где дополнительные 1 МБ представляют собой специальные данные, называемые кодом коррекции ошибок. Если любой байт в блоке потерян, пользователи могут легко восстановить эти байты с помощью кода. Даже если потерян блок размером до 1 МБ, вы все равно можете восстановить весь блок. Та же технология позволяет компьютерам считывать все данные с CD-ROM, даже если он поврежден.

В настоящее время наиболее распространен код RS. Способ реализации заключается в том, чтобы начать с k информационных блоков, построить соответствующий многочлен и оценить его в различных координатах x, чтобы получить закодированный блок. При использовании кодов коррекции ошибок RS вероятность случайной выборки потери больших объемов данных очень мала.

Пример: разделите файл на 6 данных блоков и 4 контрольных блока, всего 10 частей. Достаточно сохранить любые 6 из них, чтобы полностью восстановить исходные данные.

Преимущества: высокая степень устойчивости к ошибкам, широко применяется в CD/DVD, отказоустойчивых RAID(, а также в облачных системах хранения ), таких как Azure Storage, Facebook F4(.

Недостатки: сложность вычисления декодирования, высокие затраты; не подходит для сценариев с частыми изменениями данных. Поэтому обычно используется для восстановления и распределения данных в централизованной среде вне цепочки.

В условиях Децентрализации, Storj и Sia адаптировали традиционное RS-кодирование для удовлетворения реальных потребностей распределенной сети. Walrus также на этой основе предложил свой вариант - алгоритм кодирования RedStuff, чтобы обеспечить более низкие затраты и более гибкий механизм избыточного хранения.

Какова основная особенность Redstuff? Улучшая алгоритм кодирования с удалением, Walrus может быстро и надежно кодировать неструктурированные блоки данных в меньшие фрагменты, которые распределенно хранятся в сети узлов хранения. Даже если потеряно до двух третей фрагментов, оригинальный блок данных можно быстро восстановить, используя часть фрагментов. Это становится возможным при сохранении коэффициента репликации всего 4-5 раз.

Таким образом, определение Walrus как легковесного протокола избыточности и восстановления, переработанного вокруг Децентрализации, является разумным. В отличие от традиционных кодов коррекции ошибок ), таких как Reed-Solomon (, RedStuff больше не стремится к строгой математической согласованности, а осуществляет реалистичные компромиссы в отношении распределения данных, проверки хранения и вычислительных затрат. Эта модель отказывается от централизованного планирования.