[發明專利]一種基于大數據量下批量導入數據的方法及裝置

在審

• 申請號: 201710302167.7
• 申請日: 2017-05-02
• 公開（公告）號: CN107092700A
• 公開（公告）日: 2017-08-25
• 發明（設計）人: 王志剛;左斌
• 申請（專利權）人: 山東浪潮通軟信息科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司37100
• 代理人: 李世喆

1.一種基于大數據量下批量導入數據的方法，其特征在于，包括：

預先設置目標數據庫表的至少一個字段主鍵與至少一個數據節點之間的對應關系，還包括：

獲取待處理數據文件，其中，所述待處理數據文件包括至少兩條待處理數據，每一條所述待處理數據包括至少一個元數據，每一條所述待處理數據的每一個所述元數據分別對應有一個參考數據節點；

根據每一條所述待處理數據包括的至少一個元數據，以及每一個所述元數據分別對應的參考數據節點，生成臨時數據表；

校驗所述臨時數據表中的每一個所述元數據是否合格；

當所述臨時數據表中存在至少一個目標元數據不合格時，對所述臨時數據表中不合格的各個所述目標元數據進行刪除處理；

根據所述對應關系，將處理后的所述臨時數據表中的各個所述元數據批量導入到所述目標數據庫表的各個所述字段主鍵下。

2.根據權利要求1所述的方法，其特征在于，

所述校驗所述臨時數據表中的每一個所述元數據是否合格，包括：

針對于所述臨時數據表中的每一個所述元數據，校驗所述至少一個數據節點是否包括當前所述元數據所對應的參考數據節點；

在所述至少一個數據節點不包括當前所述元數據所對應的參考數據節點時，確定當前所述元數據不合格。

3.根據權利要求1所述的方法，其特征在于，

在所述校驗所述臨時數據表中的每一個所述元數據是否合格之前，還包括：確定至少一個所述字段主鍵所分別對應的至少一個參考元數據；

則，所述校驗所述臨時數據表中的每一個所述元數據是否合格，包括：

針對于所述臨時數據表中的每一個所述元數據，確定對應當前所述元數據的參考數據節點所對應的目標字段主鍵；

在確定的所述目標字段主鍵所對應的至少一個參考元數據不包括當前所述元數據時，確定當前所述元數據所屬的待處理數據的各個元數據均不合格。

4.根據權利要求1所述的方法，其特征在于，

在所述校驗所述臨時數據表中的每一個所述元數據是否合格之前，還包括：確定所述目標數據庫表的每一個所述字段主鍵所分別對應的字符約束條件；

則，所述校驗所述臨時數據表中的每一個所述元數據是否合格，包括：

針對于所述臨時數據表中的每一個所述元數據，確定對應當前所述元數據的參考數據節點所對應的目標字段主鍵；

校驗當前所述元數據是否符合所述目標字段主鍵所對應的約束條件；

在當前所述元數據不符合所述目標字段主鍵所對應的約束條件時，確定當前所述元數據不合格。

5.根據權利要求4所述的方法，其特征在于，

所述約束條件包括：數據類型、數據長度及數據閾值中的任意一種或多種。

6.一種基于大數據量下批量導入數據的裝置，其特征在于，包括：

設置模塊，用于預先設置目標數據庫表的至少一個字段主鍵與至少一個數據節點之間的對應關系；

數據獲取模塊，用于獲取待處理數據文件，其中，所述待處理數據文件包括至少兩條待處理數據，每一條所述待處理數據包括至少一個元數據，每一條所述待處理數據的每一個所述元數據分別對應有一個參考數據節點；

表格構建模塊，用于根據每一條所述待處理數據包括的至少一個元數據，以及每一個所述元數據分別對應的參考數據節點，生成臨時數據表；

校驗模塊，用于校驗所述臨時數據表中的每一個所述元數據是否合格；

刪除處理模塊，用于當所述臨時數據表中存在至少一個目標元數據不合格時，對所述臨時數據表中不合格的各個所述目標元數據進行刪除處理；

導入處理模塊，用于根據所述對應關系，將處理后的所述臨時數據表中的各個所述元數據批量導入到所述目標數據庫表的各個所述字段主鍵下。

7.根據權利要求6所述的裝置，其特征在于，

所述校驗模塊，包括：第一校驗單元和第一確定單元；其中，

所述第一校驗單元，用于針對于所述臨時數據表中的每一個所述元數據，校驗所述至少一個數據節點是否包括當前所述元數據所對應的參考數據節點；

所述第一確定單元，用于在所述至少一個數據節點不包括當前所述元數據所對應的參考數據節點時，確定當前所述元數據不合格。