首頁 -> 內地
DeepSeek梁文鋒署名新論文提出“條件記憶”分享到:
香港中通社1月13日電 12日晚,中國科企深度求索(DeepSeek)發布與北京大學共同完成的新論文《基於可擴展查找的條件記憶:大型語言模型稀疏性的新維度》,合著作者署名中出現DeepSeek創始人梁文鋒。
香港中通社資料圖 論文提出條件記憶(conditional memory),通過引入可擴展的查找記憶結構,在等參數、等算力條件下顯著提升模型在知識調用、推理、代碼、數學等任務上的表現。 為了實現“條件記憶”,DeepSeek提出的解決方案是一個名為Engram(直譯為:記憶痕跡)的模塊,它將語言建模任務拆解為“靜態模式檢索”與“動態組合推理”兩大分支:前者負責實體、固定短語等確定性知識的快速調取,後者則交由Transformer架構專注完成複雜邏輯運算。 論文最後表示,“我們將條件記憶視為下一代稀疏模型不可或缺的建模原語。” 同時,DeepSeek開源相關記憶模塊Engram。 中國民間科企DeepSeek於2023年7月創立,總部位於杭州,已發布多款具有廣泛影響力的大語言模型。(完) 【編輯:彭玉婷】
相關新聞 |
視頻更 多
(全國兩會)如何解讀2026年政府工作報告的涉台內容?
北京行程滿滿 李家超回應中通社再提“主動對接”
通觀兩會|中國2023年以來首次下調經濟增速目標透露什麼訊息?
(全國兩會)對於國家的發展、香港的發展 代表委員有話說
(全國兩會)兩會開幕前北京降雪 人大代表:預示“十五五”開局好兆頭
通觀兩會|拆解外媒的兩會關注點 他們實際上想知道的是什麼?
通觀兩會|為什麼說兩會是世界觀察和讀懂中國的重要窗口?
來論更 多評論更 多
論壇更 多閱讀排行
|










