Phi tập trung lưu trữ của sự tiến hóa: từ FIL đến Shelby

Lưu trữ từng là một trong những lĩnh vực hot của ngành công nghiệp blockchain. Filecoin, như một dự án hàng đầu trong đợt tăng giá trước, đã có lúc đạt giá trị thị trường vượt quá 10 tỷ USD. Arweave tập trung vào lưu trữ vĩnh viễn, đạt giá trị cao nhất là 3,5 tỷ USD. Tuy nhiên, với những hạn chế của lưu trữ dữ liệu lạnh được tiết lộ, tính cần thiết của lưu trữ vĩnh viễn đã bị đặt câu hỏi, việc lưu trữ phi tập trung có thực sự có thể triển khai được đã gây ra nhiều cuộc thảo luận rộng rãi. Sự xuất hiện của Walrus mang lại hy vọng mới cho lĩnh vực lưu trữ đã im ắng từ lâu, trong khi dự án Shelby do Aptos và Jump Crypto hợp tác ra mắt, nhằm đưa lưu trữ phi tập trung vào lĩnh vực dữ liệu nóng lên một tầm cao mới. Bài viết này sẽ bắt đầu từ con đường phát triển của bốn dự án tiêu biểu là Filecoin, Arweave, Walrus và Shelby, phân tích quá trình thay đổi câu chuyện về lưu trữ phi tập trung, khám phá triển vọng phát triển trong tương lai của lưu trữ phi tập trung.

FIL: Lưu trữ bề mặt, thực chất là khai thác

Filecoin là một trong những dự án đại diện nổi bật đã nổi lên từ sớm, với hướng phát triển xoay quanh Phi tập trung, đây là đặc điểm chung của các dự án blockchain sớm. Filecoin kết hợp lưu trữ với Phi tập trung, cố gắng giải quyết vấn đề tin cậy của các nhà cung cấp dịch vụ lưu trữ dữ liệu tập trung. Tuy nhiên, một số khía cạnh hy sinh để đạt được Phi tập trung đã trở thành điểm đau mà các dự án như Arweave hoặc Walrus sau này tập trung giải quyết. Để hiểu Filecoin thực sự là một dự án tiền mã hóa, cần phải hiểu những hạn chế khách quan của công nghệ nền tảng IPFS không phù hợp để xử lý dữ liệu nóng.

IPFS:thể hiện nút thắt trong việc truyền tải của Phi tập trung kiến trúc

IPFS( Hệ thống tệp liên sao) ra đời vào khoảng năm 2015, nhằm mục đích cách mạng hóa giao thức HTTP truyền thống thông qua việc định danh nội dung. Nhược điểm lớn nhất của IPFS là tốc độ truy xuất cực kỳ chậm. Trong thời đại dịch vụ dữ liệu truyền thống có thể đạt được thời gian phản hồi ở mức mili giây, việc lấy một tệp từ IPFS vẫn cần đến hàng chục giây, điều này khiến nó khó áp dụng trong thực tế, cũng giải thích tại sao ngoài một số dự án blockchain, nó hiếm khi được các ngành công nghiệp truyền thống áp dụng.

Giao thức P2P cơ sở của IPFS chủ yếu phù hợp với "dữ liệu lạnh", tức là nội dung tĩnh không thường xuyên thay đổi, chẳng hạn như video, hình ảnh và tài liệu. Tuy nhiên, trong việc xử lý dữ liệu nóng, chẳng hạn như trang web động, trò chơi trực tuyến hoặc ứng dụng trí tuệ nhân tạo, giao thức P2P không có lợi thế rõ ràng so với CDN truyền thống.

Mặc dù IPFS bản thân nó không phải là blockchain, nhưng thiết kế của nó dựa trên đồ thị có hướng không chu trình (DAG) phù hợp cao với nhiều chuỗi công khai và giao thức Web3, khiến nó tự nhiên trở thành khung xây dựng cơ sở cho blockchain. Do đó, cho dù nó không có giá trị thực tiễn, nhưng với tư cách là một khung cơ sở để mang lại câu chuyện blockchain đã đủ, các dự án đầu tiên chỉ cần một khung có thể chạy là có thể mở ra không gian tưởng tượng mới, nhưng khi Filecoin phát triển đến một giai đoạn nhất định, những hạn chế mà IPFS mang lại bắt đầu cản trở sự phát triển tiếp theo.

logic đồng tiền khai thác dưới lớp lưu trữ

Thiết kế ban đầu của IPFS là để người dùng có thể lưu trữ dữ liệu trong khi cũng là một phần của mạng lưu trữ. Tuy nhiên, trong bối cảnh thiếu động lực kinh tế, người dùng khó có thể tự nguyện sử dụng hệ thống này, chưa nói đến việc trở thành các nút lưu trữ tích cực. Điều này có nghĩa là hầu hết người dùng chỉ lưu trữ tệp trên IPFS mà không đóng góp không gian lưu trữ của riêng mình, cũng như không lưu trữ tệp của người khác. Chính trong bối cảnh như vậy, FIL ra đời.

Trong mô hình kinh tế token của Filecoin có ba vai trò chính: người dùng chịu trách nhiệm thanh toán phí để lưu trữ dữ liệu; thợ mỏ lưu trữ nhận được phần thưởng token vì đã lưu trữ dữ liệu của người dùng; thợ mỏ truy xuất cung cấp dữ liệu khi người dùng cần và nhận phần thưởng.

Mô hình này tồn tại không gian tiềm ẩn cho hành vi xấu. Các thợ mỏ lưu trữ có thể lấp đầy dữ liệu rác sau khi cung cấp không gian lưu trữ để kiếm phần thưởng. Do những dữ liệu rác này sẽ không được truy xuất, ngay cả khi chúng bị mất, cũng sẽ không kích hoạt cơ chế phạt đối với các thợ mỏ lưu trữ. Điều này cho phép các thợ mỏ lưu trữ xóa dữ liệu rác và lặp lại quy trình này. Bằng chứng sao chép của Filecoin chỉ có thể đảm bảo rằng dữ liệu của người dùng không bị xóa một cách trái phép, nhưng không thể ngăn cản các thợ mỏ lấp đầy dữ liệu rác.

Việc vận hành Filecoin phần lớn phụ thuộc vào sự đầu tư liên tục của các thợ mỏ vào nền kinh tế token, chứ không phải dựa trên nhu cầu thực sự của người dùng cuối đối với lưu trữ phân tán. Mặc dù dự án vẫn đang tiếp tục phát triển, nhưng ở giai đoạn hiện tại, việc xây dựng hệ sinh thái của Filecoin phù hợp hơn với định nghĩa dự án lưu trữ "logic thợ mỏ" hơn là "ứng dụng điều khiển".

Arweave: Con dao hai lưỡi của chủ nghĩa dài hạn

Nếu mục tiêu thiết kế của Filecoin là xây dựng một "đám mây dữ liệu" phi tập trung có thể khuyến khích và chứng minh, thì Arweave lại đi theo một hướng cực đoan khác trong lưu trữ: cung cấp khả năng lưu trữ vĩnh viễn cho dữ liệu. Arweave không cố gắng xây dựng một nền tảng tính toán phân tán, toàn bộ hệ thống của nó xoay quanh một giả thuyết cốt lõi - dữ liệu quan trọng nên được lưu trữ một lần và giữ mãi trong mạng. Sự chủ nghĩa dài hạn cực đoan này khiến Arweave khác biệt hoàn toàn với Filecoin từ cơ chế đến mô hình khuyến khích, từ nhu cầu phần cứng đến góc độ kể chuyện.

Arweave sử dụng Bitcoin làm đối tượng học tập, cố gắng tối ưu hóa mạng lưu trữ vĩnh viễn của mình trong một chu kỳ dài tính bằng năm. Arweave không quan tâm đến tiếp thị, cũng như không quan tâm đến đối thủ cạnh tranh và xu hướng phát triển của thị trường. Nó chỉ tiếp tục tiến bước trên con đường cải tiến kiến trúc mạng, ngay cả khi không ai quan tâm, vì đó chính là bản chất của đội ngũ phát triển Arweave: chủ nghĩa dài hạn. Nhờ vào chủ nghĩa dài hạn, Arweave đã được yêu thích trong thị trường bò trước đó; và cũng vì chủ nghĩa dài hạn, ngay cả khi rơi xuống đáy, Arweave vẫn có thể sống sót qua vài vòng thị trường bò và gấu. Chỉ có điều liệu lưu trữ phi tập trung trong tương lai có chỗ đứng cho Arweave hay không? Giá trị tồn tại của lưu trữ vĩnh viễn chỉ có thể được chứng minh qua thời gian.

Từ phiên bản 1.5 đến phiên bản 2.9 gần đây, mạng chính Arweave mặc dù đã mất đi sự quan tâm của thị trường, nhưng vẫn đang nỗ lực để cho một phạm vi rộng lớn hơn các thợ mỏ tham gia vào mạng với chi phí tối thiểu, và khuyến khích các thợ mỏ tối đa hóa việc lưu trữ dữ liệu, giúp tăng cường tính vững chắc của toàn bộ mạng. Arweave hiểu rõ rằng mình không phù hợp với sở thích của thị trường, vì vậy đã chọn một con đường bảo thủ, không ôm ấp cộng đồng thợ mỏ, hệ sinh thái hoàn toàn ngưng trệ, nâng cấp mạng chính với chi phí tối thiểu, trong khi không làm tổn hại đến an ninh của mạng, liên tục giảm bớt rào cản phần cứng.

Lịch sử nâng cấp từ 1.5 đến 2.9

Phiên bản Arweave 1.5 đã phơi bày lỗ hổng cho phép thợ mỏ dựa vào GPU để tối ưu hóa tỷ lệ tạo khối thay vì lưu trữ thực. Để ngăn chặn xu hướng này, phiên bản 1.7 đã giới thiệu thuật toán RandomX, hạn chế việc sử dụng sức mạnh tính toán chuyên biệt, thay vào đó yêu cầu CPU chung tham gia vào việc khai thác, từ đó làm suy yếu sự tập trung sức mạnh tính toán.

Trong phiên bản 2.0, Arweave áp dụng SPoA, chuyển đổi chứng minh dữ liệu thành đường dẫn đơn giản của cấu trúc cây Merkle, và giới thiệu giao dịch định dạng 2 để giảm tải đồng bộ. Kiến trúc này đã giảm áp lực băng thông mạng, làm tăng đáng kể khả năng hợp tác của các nút. Tuy nhiên, một số thợ mỏ vẫn có thể tránh trách nhiệm sở hữu dữ liệu thực thông qua chiến lược bể lưu trữ tốc độ cao tập trung.

Để khắc phục sự thiên lệch này, 2.4 đã giới thiệu cơ chế SPoRA, đưa vào chỉ mục toàn cầu và truy cập ngẫu nhiên chậm để buộc thợ mỏ phải thực sự sở hữu các khối dữ liệu để tham gia vào việc tạo khối hiệu quả, từ đó giảm thiểu hiệu ứng tích lũy sức mạnh tính toán. Kết quả là, thợ mỏ bắt đầu chú trọng đến tốc độ truy cập lưu trữ, thúc đẩy việc ứng dụng SSD và thiết bị đọc ghi tốc độ cao. 2.6 đã giới thiệu chuỗi băm để kiểm soát nhịp độ tạo khối, cân bằng lợi ích biên của thiết bị hiệu suất cao, cung cấp không gian tham gia công bằng cho thợ mỏ nhỏ và vừa.

Các phiên bản tiếp theo sẽ tăng cường khả năng hợp tác mạng và đa dạng lưu trữ: 2.7 bổ sung cơ chế khai thác hợp tác và hồ bơi, nâng cao khả năng cạnh tranh cho các thợ mỏ nhỏ; 2.8 giới thiệu cơ chế đóng gói phức hợp, cho phép các thiết bị dung lượng lớn và tốc độ thấp tham gia linh hoạt; 2.9 sẽ giới thiệu quy trình đóng gói mới theo định dạng replica_2_9, nâng cao hiệu suất đáng kể và giảm phụ thuộc vào tính toán, hoàn thành mô hình khai thác dữ liệu hướng tới mục tiêu.

Nhìn chung, lộ trình nâng cấp của Arweave rõ ràng thể hiện chiến lược dài hạn hướng tới lưu trữ: trong khi liên tục chống lại xu hướng tập trung sức mạnh tính toán, giảm thiểu rào cản tham gia, đảm bảo khả năng hoạt động lâu dài của giao thức.

Walrus: Thử nghiệm mới về lưu trữ dữ liệu nóng

Thiết kế của Walrus hoàn toàn khác với Filecoin và Arweave. Điểm khởi đầu của Filecoin là xây dựng một hệ thống lưu trữ có thể xác minh phi tập trung, với cái giá là lưu trữ dữ liệu lạnh; điểm khởi đầu của Arweave là tạo ra một thư viện Alexandria trên chuỗi có thể lưu trữ dữ liệu vĩnh viễn, với cái giá là quá ít kịch bản; điểm khởi đầu của Walrus là tối ưu hóa chi phí lưu trữ của giao thức lưu trữ dữ liệu nóng.

RedStuff: Phi tập trung của mã sửa lỗi

Trong thiết kế chi phí lưu trữ, Walrus cho rằng chi phí lưu trữ của Filecoin và Arweave là không hợp lý, cả hai đều sử dụng kiến trúc sao chép hoàn toàn, lợi thế chính của chúng là mỗi nút đều giữ bản sao đầy đủ, có khả năng chịu lỗi mạnh mẽ và tính độc lập giữa các nút. Kiến trúc này đảm bảo rằng ngay cả khi một phần nút ngoại tuyến, mạng vẫn có khả năng truy cập dữ liệu. Tuy nhiên, điều này cũng có nghĩa là hệ thống cần có sự dư thừa bản sao để duy trì tính chắc chắn, từ đó làm tăng chi phí lưu trữ. Đặc biệt trong thiết kế của Arweave, cơ chế đồng thuận khuyến khích việc lưu trữ dư thừa của các nút để tăng cường độ an toàn của dữ liệu. So với điều đó, Filecoin có tính linh hoạt hơn trong việc kiểm soát chi phí, nhưng cái giá phải trả là một số lưu trữ chi phí thấp có thể có nguy cơ mất dữ liệu cao hơn. Walrus cố gắng tìm kiếm sự cân bằng giữa hai bên, cơ chế của nó kiểm soát chi phí sao chép trong khi tăng cường khả năng sử dụng thông qua cách dư thừa có cấu trúc, từ đó thiết lập một con đường thỏa hiệp mới giữa khả năng truy cập dữ liệu và hiệu quả chi phí.

Công nghệ Redstuff do Walrus tự sáng tạo là kỹ thuật then chốt để giảm thiểu sự dư thừa của các nút, nó xuất phát từ mã hóa Reed-Solomon(RS). Mã RS là một thuật toán mã sửa lỗi rất truyền thống, mã sửa lỗi là kỹ thuật cho phép tăng gấp đôi tập dữ liệu bằng cách thêm các đoạn dư thừa(erasure code), có thể được sử dụng để tái tạo dữ liệu gốc. Từ CD-ROM đến truyền thông vệ tinh cho đến mã QR, nó được sử dụng thường xuyên trong cuộc sống hàng ngày.

Mã sửa lỗi cho phép người dùng lấy một khối, ví dụ như 1MB, sau đó "mở rộng" nó lên 2MB, trong đó 1MB bổ sung là dữ liệu đặc biệt được gọi là mã sửa lỗi. Nếu bất kỳ byte nào trong khối bị mất, người dùng có thể dễ dàng khôi phục những byte đó thông qua mã. Ngay cả khi mất đến 1MB khối, bạn vẫn có thể khôi phục toàn bộ khối. Cùng một kỹ thuật cho phép máy tính đọc tất cả dữ liệu trên CD-ROM, ngay cả khi nó đã bị hư hại.

Hiện nay, mã RS là mã được sử dụng phổ biến nhất. Cách thực hiện là bắt đầu từ k khối thông tin, xây dựng đa thức liên quan và đánh giá nó tại các tọa độ x khác nhau để có được các khối mã. Sử dụng mã sửa lỗi RS, khả năng mất một lượng lớn dữ liệu ngẫu nhiên là rất nhỏ.

Ví dụ: Chia một tệp thành 6 khối dữ liệu và 4 khối kiểm tra, tổng cộng 10 phần. Chỉ cần giữ lại bất kỳ 6 phần nào, bạn có thể phục hồi hoàn toàn dữ liệu gốc.

Ưu điểm: khả năng chịu lỗi cao, được ứng dụng rộng rãi trong CD/DVD, hệ thống RAID( chống lỗi), cũng như các hệ thống lưu trữ đám mây( như Azure Storage, Facebook F4).

Nhược điểm: Tính toán giải mã phức tạp, chi phí cao; không phù hợp với các kịch bản dữ liệu thay đổi thường xuyên. Do đó, thường được sử dụng cho việc phục hồi và sắp xếp dữ liệu trong môi trường tập trung ngoài chuỗi.

Trong kiến trúc Phi tập trung, Storj và Sia đã điều chỉnh mã hóa RS truyền thống để phù hợp với nhu cầu thực tế của mạng phân tán. Walrus cũng đã đề xuất biến thể của riêng mình - thuật toán mã hóa RedStuff, nhằm đạt được cơ chế lưu trữ dư thừa với chi phí thấp hơn và linh hoạt hơn.

Đặc điểm nổi bật nhất của Redstuff là gì? Thông qua việc cải tiến thuật toán mã hóa sửa lỗi, Walrus có thể nhanh chóng và bền vững mã hóa các khối dữ liệu phi cấu trúc thành các mảnh nhỏ hơn, những mảnh này sẽ được lưu trữ phân tán trong một mạng lưới nút lưu trữ. Ngay cả khi mất đến hai phần ba các mảnh, vẫn có thể sử dụng một phần của các mảnh để tái cấu trúc nhanh chóng khối dữ liệu gốc. Điều này trở nên khả thi khi giữ cho hệ số sao chép chỉ từ 4 đến 5 lần.

Do đó, việc định nghĩa Walrus là một giao thức phục hồi và dư thừa nhẹ được thiết kế lại quanh các kịch bản phi tập trung là hợp lý. So với các mã xóa truyền thống ( như Reed-Solomon ), RedStuff không còn theo đuổi sự nhất quán toán học nghiêm ngặt, mà thay vào đó là sự đánh đổi thực tế cho phân phối dữ liệu, xác minh lưu trữ và chi phí tính toán. Mô hình này từ bỏ cơ chế giải mã ngay lập tức cần thiết cho lập lịch tập trung, chuyển sang việc xác minh thông qua Proof trên chuỗi để xác định xem các nút có lưu trữ bản sao dữ liệu cụ thể hay không, từ đó thích ứng với cấu trúc mạng động và biên hóa hơn.

RedSt