區塊鏈數據索引技術的演進:從節點到 AI 賦能的全鏈服務

1. 引言

近年來,去中心化應用(dApp)在區塊鏈領域蓬勃發展,從早期的金融、遊戲和社交應用,到如今多鏈生態的百花齊放。在這個過程中,dApp 所依賴的數據源頭和訪問方式也在不斷演進。

2024年,人工智能(AI)與Web3成爲熱點話題。AI系統需要海量數據來不斷學習和進化,就像植物需要陽光和水分才能茁壯成長。沒有數據支撐,再先進的AI算法也難以發揮其應有的智能與效能。

本文將從區塊鏈數據可訪問性的角度,深入分析行業發展過程中區塊鏈數據索引的演變歷程。我們還將對比傳統的數據索引協議The Graph與新興的區塊鏈數據服務協議Chainbase和Space and Time,探討這些結合AI技術的新協議在數據服務與產品架構上的異同。

2. 數據索引的繁與簡:從區塊鏈節點到全鏈數據庫

2.1 數據源頭:區塊鏈節點

區塊鏈的基礎是由衆多節點組成的去中心化網路,每個節點都存儲着完整的區塊鏈數據副本。然而,對普通用戶而言,自建和維護節點並非易事,不僅需要專業技能,還面臨高昂的硬件和帶寬成本。同時,普通節點的查詢能力有限,難以滿足開發人員的需求。

爲解決這一問題,遠程過程調用(RPC)節點提供商應運而生。這些服務商負責節點的運營和管理,通過RPC端點爲用戶提供數據訪問服務。公共RPC端點雖然免費,但存在速率限制,可能影響dApp的用戶體驗。私有RPC端點雖然性能更佳,但對於復雜查詢仍顯效率低下,且難以跨網路擴展。盡管如此,節點提供商標準化的API接口降低了用戶訪問鏈上數據的門檻,爲後續的數據解析和應用奠定了基礎。

2.2 數據解析:從原型數據到可用數據

區塊鏈節點提供的原始數據通常經過加密和編碼處理,直接使用這些數據對普通用戶和開發者而言難度較大。數據解析過程將復雜的原型數據轉換爲更易理解和操作的格式,是整個數據索引流程中的關鍵環節。

2.3 數據索引器的演進

隨着區塊鏈數據量激增,數據索引器的需求日益凸顯。索引器能夠組織鏈上數據並將其存入數據庫,便於查詢。它們通過索引區塊鏈數據,並提供類似SQL的查詢語言(如GraphQL)接口,使數據隨時可用。索引器爲開發人員提供了標準化的查詢語言,大大簡化了數據檢索流程。

不同類型的索引器各有特點:

1. 完整節點索引器:直接從完整節點提取數據,確保數據完整性,但需要大量存儲和處理資源。
2. 輕量級索引器:依賴完整節點按需獲取特定數據,減少存儲需求但可能增加查詢時間。
3. 專用索引器:針對特定類型數據或區塊鏈優化,如NFT數據或DeFi交易。
4. 聚合索引器:從多個區塊鏈和來源提取數據,包括鏈下信息,提供統一查詢界面,適用於多鏈dApp。

目前,以太坊檔案節點在不同客戶端下的存儲需求從3TB到13.5TB不等,隨着區塊鏈的持續增長,這一數據量還在不斷攀升。面對如此龐大的數據量,主流索引器協議不僅支持多鏈索引,還針對不同應用的數據需求定制了數據解析框架。

相較於傳統RPC端點,索引器在數據索引和查詢效率方面有顯著優勢。它們能夠高效索引海量數據,支持復雜查詢和數據過濾,並在提取後進行分析。一些索引器還支持聚合多個區塊鏈的數據源,避免了多鏈dApp需要部署多個API的問題。通過分布式運行,索引器提供了更強的安全性和性能,同時降低了集中式RPC提供商可能帶來的中斷風險。

2.4 全鏈數據庫:向流優先對齊

隨着應用需求日益復雜化,標準化的API索引格式逐漸難以滿足多樣化的查詢需求,如跨鏈訪問或鏈下數據映射。在現代數據管道架構中,"流優先"方法成爲解決傳統批處理局限性的方案,實現實時數據處理和分析。

區塊鏈數據服務提供商也正朝着構建區塊鏈數據流的方向發展。傳統索引器服務商紛紛推出了以數據流方式獲取實時區塊鏈數據的產品,如The Graph的Substreams和Goldsky的Mirror。同時,也出現了如Chainbase和SubSquid這樣基於區塊鏈生成數據流的實時數據湖服務。

這些服務旨在解決對區塊鏈交易進行實時解析和提供更全面查詢能力的需求。通過現代數據管道的視角重新定義鏈上數據的挑戰,我們可以設想一個能夠爲任何業務用例量身定制高性能數據集的可能世界。

3. AI + Database? 深入對比 The Graph, Chainbase, Space and Time

3.1 The Graph

The Graph網路通過去中心化節點網路提供多鏈數據索引和查詢服務,便於開發者索引區塊鏈數據並構建去中心化應用。其主要產品模式包括數據查詢執行市場和數據索引緩存市場,服務於用戶的產品查詢需求。

子圖(Subgraphs)是The Graph網路的基礎數據結構,定義了如何從區塊鏈中提取並轉換數據爲可查詢的格式。任何人都可以創建子圖,多個應用可以重復使用這些子圖,提升了數據可復用性和使用效率。

The Graph網路由四個關鍵角色構成:索引器、策展人、委托人和開發者。索引器提供索引和查詢處理服務;委托者質押代幣支持索引節點運營;策展人負責信號哪些子圖應該被網路索引;開發者作爲需求方創建並提交子圖。

The Graph的產品也在AI浪潮中迅速發展。Semiotic Labs開發的AutoAgora、Allocation Optimizer和AgentC工具分別在多個方面提升了生態系統的性能,如動態定價機制、資源優化分配和自然語言查詢等。

3.2 Chainbase

Chainbase是一個全鏈數據網路,整合所有區塊鏈數據到一個平台。其獨特功能包括:

• 實時數據湖:提供專門用於區塊鏈數據流的實時數據湖。
• 雙鏈架構:基於Eigenlayer AVS構建執行層,與CometBFT共識算法形成並行雙鏈架構。
• 創新數據格式標準:引入"manuscripts"數據格式標準,優化加密行業數據的結構化和利用。
• 加密世界模型:結合AI模型技術,打造能夠理解、預測區塊鏈交易並與之交互的AI模型。

Chainbase的AI模型Theia是其關鍵亮點,基於NVIDIA的DORA模型,結合鏈上和鏈下數據以及時空活動,學習並分析加密模式,通過因果推理做出響應。

3.3 Space and Time

Space and Time (SxT)致力於打造可驗證的計算層,在去中心化數據倉庫上擴展零知識證明。其創新技術Proof of SQL是一種零知識證明技術,確保在去中心化數據倉庫上執行的SQL查詢是防篡改和可驗證的。

SxT與微軟AI聯合創新實驗室合作,研發生成式AI工具,方便用戶通過自然語言處理區塊鏈數據。在Space and Time Studio中,用戶可以輸入自然語言查詢,AI會自動轉換爲SQL並執行查詢。

結論與展望

區塊鏈數據索引技術從最初的節點數據源頭,經過數據解析和索引器的發展,最終演進到AI賦能的全鏈數據服務,經歷了一個逐步完善的過程。這些技術的不斷演進不僅提高了數據訪問的效率和準確性,還爲用戶帶來了智能化體驗。

未來,隨着AI技術和零知識證明等新技術的不斷發展,區塊鏈數據服務將進一步智能化和安全化。作爲基礎設施,區塊鏈數據服務將繼續爲行業的進步和創新提供有力支持。