开yunkai云(中国)官方网站但其在处理长文本的时候-开yun体育app网页版登录入口网页版


AI 大模子给东谈主类糊口带来了便利开yunkai云(中国)官方网站,但其在处理长文本的时候,存在一个被大巨额东谈主忽略的代价。当你把一篇十万字的文档交给它,只是是把总共内容记取这件事就要占用几十个 G 的显存。时时显卡基本装不下,就算拼集装下了,推理速率也会慢得让东谈主无法采纳。
近日,英属哥伦比亚大学和盘考院的盘考东谈主员研发了一种名为 SeKV 新措施,共同作家之一是武汉大学本科学友、牛津大学博士毕业生、现在在微软盘考院担任高档盘考员的何宇航(音)。
该措施把长文本处理时的显存占用减少了一半以上,同期模子的回应准确率基本不受影响。在 128K 长度的文本上,显存占用比完好缓存减少了一半以上。在只使用原来终点之一显存的要求下,准确率比现存的语义压缩措施平均升迁了接近六个百分点。
更遑急的是,本次措施不依赖更贵的硬件,也不需要再行磨砺大模子,它只是在现存模子上加多了一个低于万分之五参数的小模块,就能竣事上述性能。这意味着,假如你手里有一块 24G 显存的耗尽级显卡,蓝本跑不动 100K 以上的长文本,用了 SeKV 措施之后不错跑接近 300K。

这一措施旨在处治大模子在处理长文本的如下瓶颈,大模子在阅读著述的时候,会将每一个词的键值对缓存下来,留着生成回应内容的时候反复使用。这个缓存是必要的,莫得它模子就会健忘前边到底读过了什么。
然则它有一个致命的流毒,它会跟着文本长度发生线性增长。当著述从一万字造成十万字,缓存占用也会从几个 G 造成几十个 G,而这个增长是乘圭臬的增长,这就导致显卡显存的增长速率远远赶不上文本长度的增长速率。
以往的处治主义大多是在作念弃取,有些措施干脆扔掉一部分缓存,只剩下最近出现的内应许者看起来最遑急的词,这么作念如实不错省显存,然则一朝扔掉了后头就再也找不追忆了。
若是你要问的问题碰巧和被扔掉的那段翰墨相关,这时模子就只可靠猜了。还有一些措施把缓存压缩成选录,然则压缩决策在作念完阅读的那一刻就给框死了,当在后头发现需要细节的时候,就再也解不追忆了。
SeKV 换了一条旅途,它是把内容按照语义切分红段落,每个段落只留住一个浓缩的选录放在显卡里用于快速检索,原文的详备内容被压缩之后放在了 CPU 内存里,当模子发现某个段落和刻下发问相关的时候,它会再从 CPU 里把详备数据调出来。
这个主义无需扔掉任何信息,总共的翰墨已经齐在,只不外大部分时候处于压缩景况,显卡里只放着选录和少数的关节锚点。打个比喻,好多东谈主齐去藏书楼借过书,一般书架上唯一目次和索引,为了找到需要的哪一册,巧合需要先在藏书楼的电脑上查出来位置,巧合需要问真东谈主史籍照拂员。
在本次措施里,那些语义领域上的关节锚点就像书的封面和标题,恒久摆在了显眼的位置,这就好比你是去市集里的网红书店找书,书店为了卖书齐会将书封面摆出来,这种情况下当然也就绵薄找书。

把详备内容压缩到二终点之一体积但却不丢失中枢信息,依靠的是奇异值剖析,这是一种从数据里索求主要特征的数学政策,每一个段落的键值矩阵被剖析成为三个小矩阵,只留住最遑急的几十个身分。
当需要收复某个段落的时候,只需要把这三个小矩阵乘且归,就不错取得一个弥漫接近原始内容的雷同版块。若是你平时也进行内容创作,可能有过把我方的著述流通生成一个二维码的阅历,受众在需要看内容的时候,用手机扫一下就能看。上述收复某个段落的经过,和把著述生成二维码的经过在旨趣上是相似的。
在本次盘考之中,总共这个词系统仅需要磨砺一个很小的路由模块,由此就能学到怎样判断哪些段落跟刻下问题关系,参数数目仅有基础模子的万分之五,在八张 A100 显卡上磨砺两到六个小时就不错完成,还能平直用在现存的大模子上,统统无需再行磨砺或者微调。
从施行期骗场景来看,这项本事将能带来以下克己:不管是讼师或法务要审阅几百页的公约,不管是科研党要通读几十篇论文,亦或是演义迷思让 AI 襄理总结一册长篇演义,这些需求将不会在面对被卡在显存上的问题,SeKV 为它们提供了一个可行的中间决策,粗略通过点燃少许精度疏浚成倍的显存省俭,将这谈门槛往下削了一截。
参考贵寓:
关系论文https://arxiv.org/pdf/2606.31145
https://www.linkedin.com/in/yuhang-he-7b20344b/
排版:胡巍巍
注:封面/首图由 AI 援手生成
