华为申请序列模型的训练方法等专利,提高显存利用率

发布时间:2025-01-30 22:14 已有: 人阅读

  国家知识产权局信息显示,华为技术有限公司申请一项名为“序列模型的训练方法、装置和电子设备”的专利,公开号CN 119358636 A,申请日期为2023年7月。

   专利摘要显示,本申请实施例提供一种序列模型的训练方法、装置和电子设备,上述方法中,电子设备获取待训练的序列模型和训练集,遍历训练集中的样本数据,获得序列长度,然后,将样本数据划分在至少两个数据桶中,将每个数据桶中的样本数据,按照每个数据桶的序列长度对应的目标批次大小组装成批次,最后,电子设备将组装获得的批次分发给训练节点,以使训练节点使用上述批次中的样本数据对序列模型进行训练。上述方法中,目标批次大小是根据目标锚定时长确定的,是不超过目标锚定时长限制的最大的批次大小,因此可以使得序列模型的训练能够在不发生显存溢出的情况下,达到最优吞吐,提高显存利用率,还能够提升序列模型在分布式训练场景下的训练速度。

   天眼查资料显示,华为技术有限公司,成立于1987年,位于深圳市,是一家以从事计算机、通信和其他电子设备制造业为主的企业。企业注册资本4084113.182万人民币。通过天眼查大数据分析,华为技术有限公司共对外投资了49家企业,参与招投标项目5000次,知识产权方面有商标信息5000条,专利信息5000条,此外企业还拥有行政许可1348个。

热门推荐
图文推荐
  • 罗技(Logitech)停止生产Harmony遥控器
  • 据报道,小米正在使用Snapdragon 8xx SoC开发
  • 小米MIXFOLD液态镜头有什么用 小米MIXFOLD液