观麦网络申请一种数据分层存储方法专利,解决传统任务调度的复杂和资源分配低效问题

发布时间:2025-02-03 11:13 已有: 人阅读

  国家知识产权局信息显示,深圳市观麦网络科技有限公司申请一项名为“一种数据分层存储方法”的专利,公开号CN 119377234 A,申请日期为2024年12月。

   专利摘要显示,本发明涉及一种数据分层存储方法,包括将数据存储架构分层为热数据层、温数据层和冷数据层;从所述热数据层定时摄取数据,并加载到所述温数据层的DuckDB内表;在DuckDB中对所述温数据层中的数据进行转换处理,形成冷备目标数据;将所述冷备目标数据转移到所述冷数据层;其中,所述热数据摄取和加载任务、所述温数据转换任务和所述数据冷备任务依据Dagster任务框架完成编码,将代码构建发布为容器镜像,并进行任务调度配置、任务触发与任务执行。温数据利用DuckDB进行数据转换和低频查询;冷数据层则通过对象存储以Parquet格式存储历史数据,适配低成本、高效分析的需求。分层存储结合云原生任务调度技术,解决传统任务调度的复杂性和资源分配的低效问题。

   天眼查资料显示,深圳市观麦网络科技有限公司,成立于2014年,位于深圳市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本731.6373万人民币,实缴资本731.6373万人民币。通过天眼查大数据分析,深圳市观麦网络科技有限公司共对外投资了14家企业,参与招投标项目18次,知识产权方面有商标信息12条,专利信息10条,此外企业还拥有行政许可18个。

热门推荐
  • 微软推出Windows Terminal 1.0开源 微软推出Windows Terminal 1.0开源 Windows Terminal是一个开源的、基于选项卡UI风格的终端应用程序,最初发布于微软的Build 2019活动。所谓基于选项卡的UI,就是你可以在一个选项卡中打……[详细]
图文推荐
  • 苹果将??于本月晚些时候推出首款采用Mini-LE
  • iPad 2021,我们所知道的一切
  • 尽管Mini-LED面板供应受限,本月仍将推出新的