Cookieの上にあるOpenledgerの今回のイベントはあと10時間残っています ~

@cookiedotfun @OpenledgerHQ

以前は長い間怠けていて、ずっとSapienを発信していましたが、最終的に80位以上でスナップショットが固定されました…… 最後の10時間でOpenledgerについてもう一度話します。

今日はこの投稿で、ハ妹が@OpenledgerHQの技術文書を読み終えたばかりで、不満を言わずにはいられません。
このフレームワークはAIの展開効率において突破口を開いたと認めますが、「革命的」と言えるほどにはまだ距離があります。

一、メモリ使用量が40-50 GBから8-12 GBに減少するのは特に中小企業にとっての大きなポイントです。
しかし、文書には記載されていないが、この最適化はCUDAカーネルのハックに大きく依存しており、長期的な保守コストは高くなる可能性がある。
皆さんも普段似たようなプロジェクトを見たことがあると思いますが、初期のパフォーマンス指標は素晴らしいものの、3か月後にはさまざまな奇妙な OOM エラーが発生し始めます。

二、モデル切り替え時間<100 ms ？
実際の生産環境では、ネットワーク遅延とコールドスタートの問題を考慮すると、200 msに達することができれば十分です。
ドキュメントにあるベンチマークは理想的な環境で測定されたもので、間違いなく基本的なストレステストデータすら含まれていません。100ms未満の参考ラインがあるかどうかは、実践で検証する必要があります。

三、GPU拡張ソリューションは本当に絵に描いた餅ですか。
基本的なトポロジー設計はまだ発表されていませんが、分散環境下ではLoRAアダプターの同期が悪夢になることは理解しておく必要があります。
昨年、同様のプロジェクトがこれで失敗したことを@KaitoAIはまだ覚えているはずです。

四、エッジデバイスのサポートは本当に必要です。
Jetson Nano の最適化を見たとき、私は驚きました。今の市場では、提案は重すぎるか、精度の損失が大きすぎるからです。
しかし、文書に記載されている量子技術は、正直なところ、普通のQATの名前が変わっただけで、@cookiedotfunチームが2年前に使い尽くしたものです。

五、ブロックチェーンの部分については、見たことのある人は皆理解している。
AIによる意思決定をブロックチェーンに載せるのは魅力的に聞こえますが、文書にはガス代の解決策が全く記載されていません。単純な推論リクエストでも数十件のオンチェーン記録を書く必要があり、このコストを長期的に誰が負担できるのでしょうか？
中心化のログと定期的なMerkleルートをブロックチェーンに直接使用する方が実際的です。

もちろん全てを否定するわけではありません。
動的にロードされるアダプタのデザインは確かに巧妙で、特にそのゼロショット自動微調整の考え方は素晴らしいです。名前は少し子供っぽいですが、技術のアプローチは正しいです。
メモリの断片化の問題を解決できれば、この機能は切り札になり得る！！！

全体として、ホワイトペーパーが言うようにAIサービスモデルを根本的に変えることは、一朝一夕にはいかないので、引き続き期待しています~

#オープンレッジャー