[發明專利]一種基于數據倉庫hive的工業離線計算調度方法

在審

• 申請號: 202010629812.8
• 申請日: 2020-07-03
• 公開（公告）號: CN111949653A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 洪蒙納;方主升;李繼庚
• 申請（專利權）人: 廣州博依特智能信息科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455;G06F16/27;G06F16/28
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;麥小嬋

本發明提供一種基于數據倉庫hive的工業離線計算調度方法，涉及工業大數據技術領域。該基于數據倉庫hive的工業離線計算調度方法，包括以下步驟：S1、hive分區表用采集的日期進行按天分區，分區表字段定義為pt，格式是yyyymmdd；S2、配置系統的采集頻率參數為小時調度；S3、配置調度參數$[yyyymmdd]，表示調度時的當前日期；S4、計算根據時間計算pt范圍，代入公式，計算得到對應的要計算分區范圍；S5、調度計算，輸出計算結果；S6、允許補錄和修正規定周期內的數據。該基于數據倉庫hive的工業離線計算調度方法，在使用上結合工業大數據倉庫的場景實際進行任務調度，對當天的數據小時級別實時處理，對歷史周期的數據天粒度處理，實現簡單，維護成本低。

技術領域

本發明涉及工業大數據技術領域，特別的為一種基于數據倉庫hive的工業離線計算調度方法。

背景技術

工業大數據的本質是數據驅動，就象我們以前說大數據一樣，并不是一個名詞，而是一個技術代名詞，指的是基于大數據的分析、可視化，模型等大數據相關的技術和應用，在大數據技術日益成熟的前提下，與產業的深度整合成為大數據發展的下一個重要方向，埃睿迪的iReadyInsights平臺，就是與產業深度融合的大數據平臺，其被應用于工業、環保、金融等產業，并且有諸多典型客戶，工業大數據場景有以下特點：對實時性要求是小時級別，不需要實時流的毫秒級響應，也不能用傳統大數據倉庫的天調度頻率。數據上傳到數據倉庫會存在延遲，比如今天才上傳三天前的數據。數據有可能被修正，比如客戶發現5天前的采集數據由于電磁波干擾有錯誤，需要進行修正。但是現有技術中現有的工業大數據存在一下缺點：現有的大數據倉庫的調度頻率是一天調度一次，且當天只會計算前一天的數據，這樣滿足不了工業場景。

發明內容

本發明提供的發明目的在于提供一種基于數據倉庫hive的工業離線計算調度方法，該解決上述背景技術中的問題。

為實現以上目的，本發明通過以下技術方案予以實現：一種基于數據倉庫hive的工業離線計算調度方法，包括以下步驟：

S1、hive分區表用采集的日期進行按天分區，分區表字段定義為pt，格式是yyyymmdd。

S2、配置系統的采集頻率參數為小時調度。

S3、配置調度參數$[yyyymmdd]，表示調度時的當前日期。

S4、計算根據時間計算pt范圍，代入公式，計算得到對應的要計算分區范圍。

S5、調度計算，輸出計算結果。

S6、允許補錄和修正規定周期內的數據。

進一步的，在S1中的操作步驟中，所述Hive分區表采用自定義的類別進行分區，一天的數據放在同個分區，或者進行企業分區，同個企業的數據放在同個分區。

進一步的，在S1中的操作步驟中，所述分區字段是分區的依據，也是從分區取數據的依據。

進一步的，在S2中的操作步驟中，所述小時調度為每小時調度一次。

進一步的，在S3中的操作步驟中，所述$[yyyymmdd]中yyyy表示年份，mm表示月份，dd表示日，hh表示小時，所述$[yyyymmddhh]會在調度時獲取調度的時間。

進一步的，在S4中的操作步驟中，所述公式為ptbetween$[yyyymmdd-30]*FLOOR((24-${hh})/24)+$[yyyymmdd]*FLOOR((23+${hh})/24)and$[yyyymmdd]。

本發明提供了一種基于數據倉庫hive的工業離線計算調度方法。具備以下有益效果：