面向工艺设计的领域大模型构建方法

2025-04-09 70 1.4M 0

  面向工艺设计的智能化需求,领域大模型的构建方法成为关键研究方向.尽管大规模语言模型(Large Language Models,LLMs)的发展极大地推动了自然语言处理技术的进步,但工艺设计领域的数据通常存在样本稀缺、格式复杂以及缺乏结构化标签等问题,使得通用LLMs训练方法难以直接适用.此外,传统注意力机制在处理长文本和复杂任务时仍然面临计算复杂度高、资源消耗大、全局语义不稳定等挑战,进一步限制了大模型在工艺设计任务中的适应性.为解决这一问题,本研究提出了一种面向工艺设计的领域大模型构建方法,并在此基础上训练了具备100亿参数规模的工艺设计大模型——鲁班-10B.该方法引入混合稀疏注意力机制,通过保留起始词元的注意力权重,并基于查询内容动态选取相关性最高的若干历史词元,避免对完整序列计算密集型注意力矩阵,在有效降低计算复杂度的同时,提升模型对长文本中关键信息的建模能力.实验结果表明,鲁班-10B能够有效提升领域大模型在工艺设计任务中的适应能力与生成表现,为智能化工艺设计提供了新的技术路径与支撑.



您还没有登录,请登录后查看详情



 
举报收藏 0打赏 0评论 0
本类推荐
下载排行
网站首页  |  关于我们  |  联系方式  |  用户协议  |  隐私政策  |  版权声明  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  蜀ICP备2024057410号-1