🎉【Gate 3000萬紀念】曬出我的Gate時刻,解鎖限量好禮!
Gate用戶突破3000萬!這不僅是數字,更是我們共同的故事。
還記得第一次開通帳號的激動,搶購成功的喜悅,或陪伴你的Gate週邊嗎?
📸 參與 #我的Gate时刻# ,在Gate廣場曬出你的故事,一起見證下一個3000萬!
✅ 參與方式:
1️⃣ 帶話題 #我的Gate时刻# ,發布包含Gate元素的照片或視頻
2️⃣ 搭配你的Gate故事、祝福或感言更佳
3️⃣ 分享至Twitter(X)可參與瀏覽量前10額外獎勵
推特回鏈請填表單:https://www.gate.com/questionnaire/6872
🎁 獨家獎勵:
🏆 創意大獎(3名):Gate × F1紅牛聯名賽車模型一輛
👕 共創紀念獎(10名): 國際米蘭同款球員衛衣
🥇 參與獎(50名):Gate 品牌抱枕
📣 分享獎(10名):Twitter前10瀏覽量,送Gate × 國米小夜燈!
*海外用戶紅牛聯名賽車折合爲 $200 合約體驗券,國米同款球衣折合爲 $50 合約體驗券,國米小夜燈折合爲 $30 合約體驗券,品牌抱枕折合爲 $20 合約體驗券發放
🧠 創意提示:不限元素內容風格,曬圖帶有如Gate logo、Gate色彩、週邊產品、GT圖案、活動紀念品、活動現場圖等均可參與!
活動截止於7月25日 24:00 UTC+8
3
大模型爭相突破長文本技術 推動AI專業化應用落地
大模型正在"卷"長文本技術
大模型的文本處理能力正在以驚人的速度提升。從4000 token到40萬 token,大模型的上下文長度正在快速增長。
長文本處理能力似乎成爲大模型廠商的新標配。國外方面,OpenAI、Anthropic等公司紛紛提升了模型的上下文長度。國內也有多家公司和研究團隊在這一領域取得突破。
目前,國內外已有一大批頂級大模型公司和研究機構將上下文長度的拓展作爲重點方向。這些公司大多受到資本市場的青睞,獲得了大額融資。
大模型公司爲何要攻克長文本技術?上下文長度擴大100倍意味着什麼?
表面上看,這意味着模型可以處理更長的輸入文本,閱讀能力更強。但更重要的是,長文本技術正在推動大模型在金融、法律、科研等專業領域的應用落地。
不過,研究表明模型支持更長上下文輸入並不直接等同於效果更好。關鍵在於模型如何有效利用上下文內容。
當前,對文本長度的探索還遠未達到極限。40萬 token可能只是一個開始。
爲什麼要"卷"長文本?
一些大模型公司發現,輸入長度限制造成了許多應用落地的困境。比如在虛擬角色、遊戲開發、專業領域分析等場景中,長文本能力不足會限制實際效果。
長文本對未來的 Agent 和 AI 原生應用也很重要。Agent 需要依靠歷史信息做決策,AI 原生應用需要上下文來保持連貫的用戶體驗。
有觀點認爲,大模型的上限由單步能力和執行步驟數共同決定,其中執行步驟數即上下文長度。長文本還可以通過提供更多上下文,幫助模型減少歧義,提高推理準確性。
長文本技術既可以解決大模型早期的一些問題,又是推進產業應用的關鍵。這標志着大模型進入了從 LLM 到 Long LLM 的新階段。
一些公司已經展示了 Long LLM 的新功能,如超長文本總結分析、復雜代碼生成、個性化角色對話等。這顯示大模型正在向專業化、個性化、深度化方向發展。
長文本的"不可能三角"困境
長文本技術面臨文本長度、注意力和算力的"不可能三角"困境。文本越長越難聚焦注意力,處理長文本又需要大量算力。
這主要是因爲大多數模型基於 Transformer 結構。其中的自注意力機制使計算量隨上下文長度呈平方級增長。
目前主要有三種解決方案:
長文本的困境目前還無法完全解決,但明確了探索方向:在文本長度、注意力和算力三者間尋找平衡點,既能處理足夠信息,又能兼顧計算與成本限制。