[發明專利]一種數據入庫方法及裝置

有效

• 申請號: 201710503476.0
• 申請日: 2017-06-27
• 公開（公告）號: CN107463610B
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 梁福坤
• 申請（專利權）人: 北京星選科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/23;G06F16/215;G06F16/28
• 代理公司: 北京太合九思知識產權代理有限公司 11610
• 代理人: 劉戈

1.一種數據入庫方法，其特征在于，包括：

根據數據源的來源信息，確定入庫模式；

若所述入庫模式為實時模式，則在滿足實時入庫條件時對所述數據源進行實時入庫處理；

若所述入庫模式為批量離線模式，則在關閉實時入庫通道后對所述數據源進行批量離線數據入庫處理；

所述根據數據源的來源信息，確定入庫模式，包括：

若所述數據源來自消息隊列，則確定所述入庫模式為實時模式；

若所述數據源來自關系型數據庫，則確定所述入庫模式為批量離線模式；

對所述數據源進行實時入庫處理，包括：

從所述數據源中抽取目標數據；

對所述目標數據進行清洗處理；

將清洗處理后的目標數據轉換為預設格式；

根據所述目標數據的名稱及時間信息，確定所述目標數據的主鍵或聯合主鍵；

根據所述主鍵或所述聯合主鍵，將所述預設格式的所述目標數據添加至所述主鍵或所述聯合主鍵對應數據行的部分列中。

2.根據權利要求1所述的方法，其特征在于，還包括：

監測是否存在有正在進行批量離線數據入庫處理的數據引擎；

若沒有，則滿足所述實時入庫條件。

3.根據權利要求1所述的方法，其特征在于，對所述數據源進行批量離線數據入庫處理，包括：

從所述數據源中抽取目標數據；

對所述目標數據進行清洗處理；

將清洗處理后的目標數據轉換為預設格式；

對所述預設格式的所述目標數據進行聚合處理，以得到全量數據信息；

將所述全量數據信息作為一個數據行添加至數據倉庫中。

4.根據權利要求1所述的方法，其特征在于，還包括：

在所述數據源批量離線入庫完成后，將所述數據源批量導出并轉儲至特定文件夾，以供下游第一數據引擎離線下載；和/或

在所述數據源批量離線入庫完成后，將所述數據源批量導出并轉儲至分布式文件系統，以供下游第二數據引擎離線下載。

5.根據權利要求1所述的方法，其特征在于，還包括：

基于已入庫的數據創建外部表，以對外提供查詢。

6.根據權利要求5所述的方法，其特征在于，還包括：

對所述外部表進行內部表的轉化處理。

7.一種數據入庫裝置，其特征在于，包括：

確定模塊，用于根據數據源的來源信息，確定入庫模式；

第一處理模塊，用于若所述入庫模式為實時模式，則在滿足實時入庫條件時對所述數據源進行實時入庫處理；

第二處理模塊，用于若所述入庫模式為批量離線模式，則在關閉實時入庫通道后對所述數據源進行批量離線數據入庫處理；

所述確定模塊具體用于：

若所述數據源來自消息隊列，則確定所述入庫模式為實時模式；

若所述數據源來自關系型數據庫，則確定所述入庫模式為批量離線模式；第一處理模塊具體用于：

從所述數據源中抽取目標數據；

對所述目標數據進行清洗處理；

將清洗處理后的目標數據轉換為預設格式；

根據所述目標數據的名稱及時間信息，確定所述目標數據的主鍵或聯合主鍵；

根據所述主鍵或所述聯合主鍵，將所述預設格式的所述目標數據添加至所述主鍵或所述聯合主鍵對應數據行的部分列中。

8.根據權利要求7所述的裝置，其特征在于，還包括：

監測模塊，用于監測是否存在有正在進行批量離線數據入庫處理的數據引擎；若沒有，則滿足所述實時入庫條件。

9.根據權利要求7所述的裝置，其特征在于，所述第二處理模塊具體用于：

從所述數據源中抽取目標數據；

對所述目標數據進行清洗處理；

將清洗處理后的目標數據轉換為預設格式；

對所述預設格式的所述目標數據進行聚合處理，以得到全量數據信息；

將所述全量數據信息作為一個數據行添加至數據倉庫中。