深势科技申请向大语言模型引入线性注意力机制的处理方法和装置专利，降低大语言模型的计算资源占用量

　　国家知识产权局信息显示，北京深势科技有限公司申请一项名为“一种向大语言模型引入线性注意力机制的处理方法和装置”的专利，公开号CN 119357669 A，申请日期为2024年10月。

　　 专利摘要显示，本发明实施例涉及一种向大语言模型引入线性注意力机制的处理方法和装置，所述方法包括：将一类基于Transformer模型架构实现的常规大语言模型作为对应的基版模型；接收模型改善方案记为对应的第一方案；基于第一方案的第一注意力函数配置集对基版模型的注意力函数进行重置并将重置后的模型记为对应的第一大语言模型；并基于第一方案的第一数据集标识对应的模型训练数据集对第一大语言模型进行训练和评估得到对应的第一评估值；并在第一评估值超过第一方案的第一评估指标时，将第一大语言模型作为基版模型的改善版模型。通过本发明可以降低大语言模型的计算资源占用量、提高大语言模型的计算效率。

　　 天眼查资料显示，北京深势科技有限公司，成立于2018年，位于北京市，是一家以从事科技推广和应用服务业为主的企业。企业注册资本1100.0208万人民币，实缴资本532.3105万人民币。通过天眼查大数据分析，北京深势科技有限公司共对外投资了15家企业，参与招投标项目41次，知识产权方面有商标信息371条，专利信息67条，此外企业还拥有行政许可7个。