在人工智能领域，大语言模型的训练与推理开销长期制约着技术的广泛应用。近日，北京大学人工智能研究院助理教授张牧涵领衔的团队，在鲲鹏昇腾科教创新卓越中心（简称“卓越中心”）提供的强大算力支持下，成功构建了一套高效的大模型训练与推理架构，实现百万tokens输入成本低至1元，为行业提供了高性能、低成本的全新解决方案。该研究实现了三项核心技术突破。其一，当前主流的相对位置编码机制存在显著稀疏性问题。团队创新性地将注意力头中的位置信息与非位置信息解耦，对位置编码实施低秩压缩，在仅保留3%位置信息的情况下，...
在人工智能领域，大语言模型的训练与推理开销长期制约着技术的广泛应用。近日，北京大学人工智能研究院助理教授张牧涵领衔的团队，在鲲鹏昇腾科教创新卓越中心（简称“卓越中心”）提供的强大算力支持下，成功构建了一套高效的大模型训练与推理架构，实现百万tokens输入成本低至1元，为行业提供了高性能、低成本的全新解决方案。
该研究
实现了三项核心技术突破。其一，当前主流的相对位置编码机制存在显著稀疏性问题。团队创新性地将注意力头中的位置信息与非位置信息解耦，对位置编码实施低秩压缩，在仅保留3%位置信息的情况下，仍能保持原有的表达能力。通过优化昇腾硬件上的flash-attention算子，有效提升了注意力头参数的利用效率。
其二，传统模型中非位置编码部分往往处于被压制状态。通过分离位置与非位置信息，团队为非位置编码开辟了更大的压缩空间。采用联合KV的低秩压缩策略，仅需保留12.5%的KV Cache即可维持模型性能。该方法充分发挥了昇腾芯片高效的并行计算优势，显著降低内存访问压力，大幅提升推理吞吐。
其三，依托昇腾平台卓越的并行处理能力，团队提出了Recurrent Decoding（RD）技术，替代传统LM-head结构，显著提升训练效率与推理速度。在训练过程中，RD通过对比解码生成的多个tokens与目标序列，提高数据利用率；在推理阶段，结合投机采样机制，大幅提高token生成的通过率，从而加快整体输出速度。
这项成果已引发学术界高度关注，不仅为后续研究提供了可复用的高效架构模板，也显著降低了大模型在企业场景中的部署门槛。自2025年6月成立以来，北京大学与华为持续在产业前沿技术领域开展深度合作，此次成果充分验证了昇腾算力平台支撑高水平科研的能力。未来，卓越中心将持续推进大模型关键技术攻关，助力中国自主人工智能生态建设。
相关推荐：
免费生成论文的AI：提升写作效率，轻松应对学术挑战,ai校对论文
AI智能时代的到来：如何利用人工智能推动生活与商业创新,ai水面渐变
AI论文免费生成：颠覆学术写作的新纪元,生成ai专家
SEO反链：提升网站排名的秘密武器,可爱ai
2020年手机游戏赚钱排行榜NO.1玩问道赚钱！
AI内容生成：颠覆创作方式，开创数字时代新篇章
ChatGPT网页版：开启全新智能对话体验，尽在指尖
SEO利用：让你的网站快速登顶，获取更多流量与客户！,延边小程序推广平台网站
AI写作会不会重复生成？揭秘背后的智能与创新
在线AI文章生成器开启智能创作新时代
Typecho导入Markdown：轻松打造高效的博客体验,肺癌f ai
SEO分类：从基础到进阶，全面解析SEO优化的关键要素,新建设网站排名
SEO和品牌营销：如何通过搜索引擎优化打造品牌影响力,建邺seo软件
SEO实际：如何在竞争激烈的市场中脱颖而出,dz论坛seo如何设置
SEO优化价格怎么样？如何选择性价比高的SEO服务？
ChatGPT无法加载？检查您的网络设置并尝试重启ChatGPT，解决您的使用困扰！,ai跟随变换
SEO优化网站费用：如何在合理的预算内提升网站排名与流量
360快速排名优，助力网站流量突破新高
SEO之后：如何借助优化带来业绩的飞跃
AI写作免费，一键生成轻松搞定！
SEO优化网站教程：一步步教你提升网站流量和排名
全平台自动发布，助力品牌营销全面升级,ai人形轨迹
文字写作AI生成工具：让创作更简单、更高效
ChatGPT免登录：轻松畅聊，无需注册，快速体验AI智能助手,ai紫色鞋子
AI免费文章生成器：轻松创作高质量内容的终极工具
“gpt无限问答版”：AI智慧新时代，体验无极限的知识,300元ai录音笔
AI能写软文吗？揭秘人工智能在软文创作中的应用与前景,ai做字图
内容创作新时代：自动生成文章的AI如何改变写作生态
如何利用AI生成高质量文章，提升写作效率与创意？
SEM优化与SEO优化：数字营销的双剑合璧
