国网湖南省电力申请基于查询变换器的多模态大模型预训练专利，可靠性更高

　　国家知识产权局信息显示，国网湖南省电力有限公司申请一项名为“基于查询变换器的多模态大模型预训练方法、系统及电力设备故障诊断方法”的专利，公开号 CN 119357661 A，申请日期为 2024 年 9 月。

　　 专利摘要显示，本发明公开了一种基于查询变换器的多模态大模型预训练方法，包括获取设定场景的并生成‑文本对数据集；将可学习查询作为位置信息并替换为四维坐标；对查询变换器结构进行修正；对可学习查询进行高维空间转换并输入查询变换器中对多模态大模型进行第一阶段训练；将查询变换器输出结合文本信息并输入到冻结大语言模型中完成对多模态大模型的第二阶段训练；完成第一和第二阶段训练后完成最终的基于查询变换器的多模态大模型的预训练。本发明还公开了一种实现所述基于查询变换器的多模态大模型预训练方法的系统，和包括了所述基于查询变换器的多模态大模型预训练方法的电力设备故障诊断方法。本发明可靠性更高，精确性更好，资源占用更少。

　　 天眼查资料显示，国网湖南省电力有限公司，成立于1992年，位于长沙市，是一家以从事电力、热力生产和供应业为主的企业。企业注册资本3433687.377259万人民币，实缴资本3433687.377259万人民币。通过天眼查大数据分析，国网湖南省电力有限公司共对外投资了62家企业，参与招投标项目3823次，专利信息5000条，此外企业还拥有行政许可241个。