[發明專利]一種基于大數據量下批量導入數據的方法及裝置

在審

• 申請號: 201710302167.7
• 申請日: 2017-05-02
• 公開（公告）號: CN107092700A
• 公開（公告）日: 2017-08-25
• 發明（設計）人: 王志剛;左斌
• 申請（專利權）人: 山東浪潮通軟信息科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司37100
• 代理人: 李世喆

技術領域

本發明涉及計算機技術領域，特別涉及一種基于大數據量下批量導入數據的方法及裝置。

背景技術

大數據時代下，隨著信息系統的廣泛應用，數據量日趨增加，通常需要將大量的數據導入至數據庫的目標數據庫表中。

目前，進行大批量數據導入時，通常需要將待處理數據文件中的大量待處理數據逐一導入目標數據庫表中，每將一條待處理數據導入到目標數據庫表之后，還需要對導入目標數據庫表的該條待處理數據中的各個元數據進行校驗，以確定導入到目標數據庫表中的各個元數據是否合格，然后對目標數據庫表中不合格的元數據進行刪除，從而實現將待處理數據文件中的各個待處理數據導入到目標數據庫表。

上述技術方案中，每一個待處理數據的各個元數據需要逐一導入到目標數據庫表，同時，還需要訪問導入目標數據庫表的每一個元數據以校驗每一個元數據是否合格。可見，通過上述技術方案實現將大批量數據導入目標數據庫表時，需要頻繁訪問目標數據庫表所對應的數據庫，可能影響目標數據庫表所對應的數據庫的響應速度，進而影響數據導入效率。

發明內容

本發明實施例提供了一種基于大數據量下批量導入數據的方法及裝置，可提要數據導入效率。

第一方面，本發明提供了一種基于大數據量下批量導入數據的方法，包括：

預先設置目標數據庫表的至少一個字段主鍵與至少一個數據節點之間的對應關系；

獲取待處理數據文件，其中，所述待處理數據文件包括至少兩條待處理數據，每一條所述待處理數據包括至少一個元數據，每一條所述待處理數據的每一個所述元數據分別對應有一個參考數據節點；

根據每一條所述待處理數據包括的至少一個元數據，以及每一個所述元數據分別對應的參考數據節點，生成臨時數據表；

校驗所述臨時數據表中的每一個所述元數據是否合格；

當所述臨時數據表中存在至少一個目標元數據不合格時，對所述臨時數據表中不合格的各個所述目標元數據進行刪除處理；

根據所述對應關系，將處理后的所述臨時數據表中的各個所述元數據批量導入到所述目標數據庫表的各個所述字段主鍵下。

優選地，

所述校驗所述臨時數據表中的每一個所述元數據是否合格，包括：

針對于所述臨時數據表中的每一個所述元數據，校驗所述至少一個數據節點是否包括當前所述元數據所對應的參考數據節點；

在所述至少一個數據節點不包括當前所述元數據所對應的參考數據節點時，確定當前所述元數據不合格。

優選地，

在所述校驗所述臨時數據表中的每一個所述元數據是否合格之前，還包括：確定至少一個所述字段主鍵所分別對應的至少一個參考元數據；

則，所述校驗所述臨時數據表中的每一個所述元數據是否合格，包括：

針對于所述臨時數據表中的每一個所述元數據，確定對應當前所述元數據的參考數據節點所對應的目標字段主鍵；

在確定的所述目標字段主鍵所對應的至少一個參考元數據不包括當前所述元數據時，確定當前所述元數據所屬的待處理數據的各個元數據均不合格。

優選地，

在所述校驗所述臨時數據表中的每一個所述元數據是否合格之前，還包括：確定所述目標數據庫表的每一個所述字段主鍵所分別對應的字符約束條件；

則，所述校驗所述臨時數據表中的每一個所述元數據是否合格，包括：

針對于所述臨時數據表中的每一個所述元數據，確定對應當前所述元數據的參考數據節點所對應的目標字段主鍵；

校驗當前所述元數據是否符合所述目標字段主鍵所對應的約束條件；

在當前所述元數據不符合所述目標字段主鍵所對應的約束條件時，確定當前所述元數據不合格。

優選地，

所述約束條件包括：數據類型、數據長度及數據閾值中的任意一種或多種。

第二方面，本發明實施例提供了一種基于大數據量下批量導入數據的裝置，包括：

設置模塊，用于預先設置目標數據庫表的至少一個字段主鍵與至少一個數據節點之間的對應關系；

數據獲取模塊，用于獲取待處理數據文件，其中，所述待處理數據文件包括至少兩條待處理數據，每一條所述待處理數據包括至少一個元數據，每一條所述待處理數據的每一個所述元數據分別對應有一個參考數據節點；

表格構建模塊，用于根據每一條所述待處理數據包括的至少一個元數據，以及每一個所述元數據分別對應的參考數據節點，生成臨時數據表；

校驗模塊，用于校驗所述臨時數據表中的每一個所述元數據是否合格；