Децентрализация хранения: от FIL до Shelby

Хранение когда-то было одной из популярных ниш в блокчейн-индустрии. Filecoin, как ведущий проект последнего бычьего рынка, на какое-то время преодолел рыночную капитализацию в 10 миллиардов долларов. Arweave делает акцент на постоянном хранении, его максимальная капитализация достигла 3,5 миллиарда долларов. Однако, с раскрытием ограничений хранения холодных данных, необходимость постоянного хранения была поставлена под сомнение, и возникли широкие обсуждения о том, может ли Децентрализация хранения реально осуществиться. Появление Walrus принесло новую надежду в давно затихший сектор хранения, в то время как проект Shelby, запущенный в сотрудничестве Aptos и Jump Crypto, направлен на то, чтобы поднять Децентрализация хранения на новый уровень в области горячих данных. В данной статье будут рассмотрены пути развития четырех представительных проектов: Filecoin, Arweave, Walrus и Shelby, проанализирован процесс изменения нарратива Децентрализация хранения и исследованы перспективы его будущего развития.

FIL: Поверхностное хранилище, на самом деле майнинг

Filecoin является одним из ранних представительных проектов, его направление развития сосредоточено на Децентрализации, что является общей чертой ранних блокчейн-проектов. Filecoin сочетает хранение и Децентрализацию, стараясь решить проблему доверия к централизованным поставщикам услуг хранения данных. Однако некоторые аспекты, которые были пожертвованы ради достижения Децентрализации, стали болевыми точками, которые впоследствии пытались решить такие проекты, как Arweave или Walrus. Чтобы понять, что Filecoin на самом деле является проектом минтинга, необходимо осознать объективные ограничения его базовой технологии IPFS, которая не подходит для обработки горячих данных.

IPFS:Децентрализация архитектуры передачи

IPFS(Межзвёздная файловая система) появилась около 2015 года с целью революционизировать традиционный протокол HTTP через адресацию по содержимому. Главным недостатком IPFS является чрезвычайно медленная скорость получения. В эпоху, когда традиционные сервисы данных могут достигать миллисекундной реакции, получение файла через IPFS по-прежнему занимает десятки секунд, что затрудняет его распространение в реальных приложениях и объясняет, почему, кроме нескольких блокчейн-проектов, он редко используется в традиционных отраслях.

Основной P2P протокол IPFS в первую очередь подходит для "холодных данных", то есть для статического контента, который редко изменяется, как видео, изображения и документы. Однако при обработке горячих данных, таких как динамические веб-страницы, онлайн-игры или приложения искусственного интеллекта, P2P протокол не имеет явных преимуществ по сравнению с традиционными CDN.

Хотя IPFS сам по себе не является блокчейном, его концепция дизайна с использованием направленного ациклического графа (DAG) в значительной степени совпадает с многими публичными цепочками и протоколами Web3, что делает его естественно подходящим в качестве основного строительного фрейма для блокчейна. Поэтому, даже если у него нет практической ценности, как базовой платформы для блокчейн-нарративов, его уже достаточно, и ранние проекты нуждаются лишь в работающем фрейме для открытия нового пространства воображения. Однако, когда Filecoin достигнет определенной стадии развития, ограниченность, которую приносит IPFS, начнет препятствовать его дальнейшему развитию.

Логика майнинг монет под оболочкой хранения

Изначальная идея дизайна IPFS заключалась в том, чтобы позволить пользователям хранить данные, а также быть частью сети хранения. Однако в условиях отсутствия экономических стимулов пользователям трудно добровольно использовать эту систему, не говоря уже о том, чтобы стать активными узлами хранения. Это означает, что большинство пользователей будут просто хранить файлы в IPFS, но не будут вносить свой объем хранения и не будут хранить файлы других. Именно в таком контексте и появилась Filecoin.

В экономической модели токенов Filecoin основными ролями являются: пользователи, которые несут ответственность за оплату хранения данных; майнеры хранения, которые получают токеновые стимулы за хранение данных пользователей; майнеры поиска, которые предоставляют данные по запросу пользователей и получают стимулы.

Эта модель имеет потенциальное пространство для злоупотреблений. Хранители данных могут после предоставления пространства для хранения заполнить его мусорными данными, чтобы получить вознаграждение. Поскольку эти мусорные данные не подлежат извлечению, их потеря не вызовет механизм наказания для хранителей данных. Это позволяет хранителям данных удалять мусорные данные и повторять этот процесс. Консенсус на основе доказательства копирования в Filecoin может гарантировать, что пользовательские данные не были удалены без разрешения, но не может предотвратить заполнение мусорными данными.

Работа Filecoin в значительной степени зависит от постоянных инвестиций майнеров в токеномику, а не от реального спроса конечных пользователей на распределенное хранилище. Несмотря на то, что проект продолжает итерации, на текущем этапе экосистема Filecoin больше соответствует определению "логики майнинга", чем "приложений" в области хранения.

Arweave: двусторонний меч долгосрочного主义

Если говорить о том, что цель дизайна Filecoin заключается в создании стимулирующей, доказуемой Децентрализации "облака данных", то Arweave идет в другом направлении, стремясь предоставить возможность постоянного хранения данных. Arweave не пытается создать распределенную вычислительную платформу; вся его система строится вокруг одной ключевой гипотезы — важные данные должны храниться один раз и оставаться в сети навсегда. Этот экстремальный долгосрочный подход делает Arweave совершенно отличным от Filecoin как по механизмам, так и по модели стимулов, по требованиям к оборудованию и с точки зрения нарратива.

Arweave использует биткойн в качестве объекта изучения, пытаясь постоянно оптимизировать свою сеть постоянного хранения в долгосрочной перспективе, измеряемой годами. Arweave не заботится о маркетинге, не обращает внимания на конкурентов и тенденции рынка. Он просто продолжает итерацию архитектуры сети, даже если его никто не спрашивает, потому что это суть команды разработчиков Arweave: долгосрочность. Благодаря долгосрочности Arweave пользовался большой популярностью в прошлом бычьем рынке; и из-за долгосрочности, даже если он упадет на дно, Arweave может пережить несколько циклов бычьих и медвежьих рынков. Но будет ли у Arweave место в будущем децентрализованном хранении? Существительная ценность постоянного хранения может быть доказана только временем.

С момента версии 1.5 основной сети Arweave до недавней версии 2.9, несмотря на потерю рыночного интереса, она продолжает стремиться к тому, чтобы больший круг майнеров мог участвовать в сети с минимальными затратами и стимулировать майнеров максимально хранить данные, что постоянно повышает устойчивость всей сети. Arweave хорошо осознает, что она не соответствует рыночным предпочтениям, поэтому придерживается консервативного курса, не обнимая майнерское сообщество, экосистема полностью остановилась, с минимальными затратами обновляет основную сеть, постоянно снижая аппаратные барьеры при этом не нанося ущерба безопасности сети.

Обзор пути обновления от 1.5 до 2.9

Версия Arweave 1.5 обнаружила уязвимость, позволяющую майнерам полагаться на стек GPU вместо реального хранения для оптимизации вероятности создания блока. Чтобы сдержать эту тенденцию, версия 1.7 вводит алгоритм RandomX, ограничивающий использование специализированной вычислительной мощности и требующий участия универсальных ЦП для майнинга, что ослабляет централизацию вычислительной мощности.

В версии 2.0 Arweave использует SPoA, преобразуя доказательство данных в компактный путь структуры Меркла и вводя транзакции формата 2, чтобы уменьшить нагрузку на синхронизацию. Эта архитектура уменьшает давление на сетевую пропускную способность, значительно увеличивая способность узлов к сотрудничеству. Однако некоторые майнеры все еще могут избежать реальной ответственности за хранение данных, используя стратегию централизованных высокоскоростных хранилищ.

Чтобы исправить эту предвзятость, в 2.4 был представлен механизм SPoRA, который вводит глобальный индекс и медленную хэш-рандомный доступ, заставляя майнеров реально владеть блоками данных для участия в эффективном создании блоков, тем самым ослабляя эффект накапливания вычислительной мощности. В результате майнеры начали обращать внимание на скорость доступа к хранилищу, что способствовало внедрению SSD и устройств с высокой скоростью чтения и записи. В 2.6 была введена хэш-цепочка для контроля темпа создания блоков, что сбалансировало предельную полезность высокопроизводительных устройств и предоставило средним и мелким майнерам справедливое пространство для участия.

В следующих версиях будет усилена сетевое сотрудничество и разнообразие хранения: 2.7 добавляет механизм совместного майнинга и пулов, повышая конкурентоспособность мелких майнеров; 2.8 вводит механизм сложной упаковки, позволяя устройствам с большой ёмкостью и низкой скоростью гибко участвовать; 2.9 вводит новый процесс упаковки в формате replica_2_9, значительно повышая эффективность и снижая зависимость от вычислений, завершая замкнутую петлю модели майнинга, ориентированной на данные.

В целом, путь обновления Arweave ясно демонстрирует его долгосрочную стратегию, ориентированную на хранение: продолжая противостоять тенденции концентрации вычислительной мощности, он продолжает снижать барьеры для участия, обеспечивая возможность долгосрочной работы протокола.

Walrus: Новый подход к хранению горячих данных

Дизайн Walrus полностью отличается от Filecoin и Arweave. Исходная точка Filecoin заключается в создании децентрализованной проверяемой системы хранения, ценой которой является хранение холодных данных; исходная точка Arweave заключается в создании онлайновой библиотеки Александра для постоянного хранения данных, ценой которой является недостаток сценариев; исходная точка Walrus заключается в оптимизации затрат на хранение протокола хранения горячих данных.

RedStuff: Улучшенная версия кодов исправления ошибок

В отношении проектирования затрат на хранение Walrus считает, что расходы на хранение Filecoin и Arweave являются неоправданными, так как оба последних используют архитектуру полного копирования, основным преимуществом которой является то, что каждая нода хранит полную копию, что обеспечивает хорошую отказоустойчивость и независимость между нодами. Эта архитектура гарантирует, что даже если часть нод отключится, сеть все равно будет иметь доступность данных. Однако это также означает, что системе требуется многократная избыточность для поддержания надежности, что, в свою очередь, увеличивает затраты на хранение. Особенно в дизайне Arweave механизм консенсуса сам по себе поощряет избыточное хранение нодами, чтобы повысить безопасность данных. В сравнении, Filecoin более гибок в контроле затрат, но ценой этого является то, что некоторые низкозатратные хранилища могут подвергаться большему риску потери данных. Walrus пытается найти баланс между двумя, его механизм контролирует затраты на копирование, одновременно увеличивая доступность за счет структурированной избыточности, тем самым устанавливая новый компромисс между доступностью данных и эффективностью затрат.

Redstuff, созданный Walrus, является ключевой технологией для снижения избыточности узлов, и он основан на кодировании Reed-Solomon ( RS ). Кодирование RS является очень традиционным алгоритмом кодов с исправлением ошибок; коды с исправлением ошибок — это технология, позволяющая удвоить набор данных за счет добавления избыточных фрагментов ( erasure code ), что может быть использовано для восстановления оригинальных данных. От CD-ROM до спутниковой связи и до QR-кодов, он часто используется в повседневной жизни.

Коды исправления ошибок позволяют пользователям получать блок, например, размером 1 МБ, а затем "увеличивать" его до 2 МБ, где дополнительные 1 МБ представляют собой специальные данные, называемые кодами исправления ошибок. Если любой байт в блоке теряется, пользователи могут легко восстановить эти байты с помощью кодов. Даже если потерян целый блок размером до 1 МБ, вы все равно можете восстановить весь блок. Технология позволяет компьютерам считывать все данные с CD-ROM, даже если он поврежден.

В настоящее время наиболее распространен код RS. Способ реализации заключается в том, чтобы начать с k информационных блоков, построить связанные многочлены и оценить их в различных координатах x, чтобы получить кодовые блоки. При использовании кодов исправления ошибок RS вероятность случайной потери больших объемов данных крайне мала.

Пример: разделите файл на 6 данных блоков и 4 контрольных блока, всего 10 частей. Достаточно сохранить любые 6 частей, чтобы полностью восстановить исходные данные.

Преимущества: высокая степень отказоустойчивости, широко используется в CD/DVD, отказоустойчивых RAID( массивов ) и облачных системах хранения (, таких как Azure Storage, Facebook F4).

Недостатки: сложность декодирования, высокая стоимость; не подходит для сценариев с частыми изменениями данных. Поэтому обычно используется для восстановления и управления данными в централизованной среде вне цепи.

В условиях Децентрализации архитектуры Storj и Sia адаптировали традиционное RS-кодирование для удовлетворения реальных потребностей распределенной сети. Walrus также на этой основе предложил свой вариант - алгоритм кодирования RedStuff, чтобы реализовать более низкие затраты и более гибкий механизм избыточного хранения.

Какова главная особенность Redstuff? Благодаря улучшенному алгоритму кодирования с коррекцией ошибок, Walrus может быстро и надежно кодировать неструктурированные блоки данных в меньшие фрагменты, которые распределенно хранятся в сети узлов хранения. Даже если потеряно до двух третей фрагментов, можно быстро восстановить оригинальные блоки данных, используя часть фрагментов. Это становится возможным при сохранении коэффициента копирования всего в 4-5 раз.

Поэтому разумно определить Walrus как легкий протокол избыточности и восстановления, переработанный вокруг Децентрализации. В отличие от традиционных кодов исправления ошибок (, таких как Reed-Solomon ), RedStuff больше не стремится к строгой математической согласованности, а вместо этого проводит реалистичные компромиссы в отношении распределения данных, проверки хранения и вычислительных затрат. Эта модель отказывает от механизма мгновенного декодирования, требуемого централизованным планированием, и вместо этого использует Proof на цепочке для проверки, имеет ли узел конкретные копии данных, тем самым адаптируясь к более динамичной и маргинализированной сетевой структуре.

РедСт