[發明專利]一種數據加載方法和裝置

有效

• 申請號: 201611085703.4
• 申請日: 2016-11-30
• 公開（公告）號: CN108121745B
• 公開（公告）日: 2021-08-06
• 發明（設計）人: 陳葉超;劉云飛;齊驥;金振江;柯亮;錢嶺
• 申請（專利權）人: 中移(蘇州)軟件技術有限公司;中國移動通信集團公司
• 主分類號: G06F16/245
• 分類號: G06F16/245;G06F16/27;G06F9/50
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 張穎玲;王花麗

1.一種數據加載方法，其特征在于，所述方法包括：

根據需要加載的數據的主鍵字段對所述需要加載的數據排序，并生成數據文件；

采用固定間隔對排序后的所述需要加載的數據的主鍵字段采樣，生成第一主鍵字段；

根據所述第一主鍵字段生成數據表的分區信息，并根據所述數據表的分區信息對所述數據表進行分區；

根據所述數據表的分區信息對所述數據文件進行分組，并根據分組結果生成數據表的分區文件；

將所述數據表的分區文件加載到對應的數據表的分區中。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

對所述需要加載的數據切片，得到n組預處理數據；其中，n為正整數；

相應的，所述根據需要加載的數據的主鍵字段對所述需要加載的數據排序，并生成數據文件，包括：

根據所述預處理數據的主鍵字段分別對所述n組預處理數據排序，并生成n個數據文件。

3.根據權利要求2所述的方法，其特征在于，所述對排序后的所述需要加載的數據的主鍵字段采樣，得到第一主鍵字段，包括：

對排序后的所述n組預處理數據的主鍵字段分別采樣，生成n組第二主鍵字段；

對所述n組第二主鍵字段整體排序，并對整體排序后的所述n組第二主鍵字段采樣，生成所述第一主鍵字段。

4.根據權利要求1所述的方法，其特征在于，所述根據所述第一主鍵字段生成數據表的分區信息，并根據所述數據表的分區信息對數據表進行分區，包括：

根據所述第一主鍵字段獲取所述數據表的分區區間的起始字段和結束字段；

根據所述數據表的分區區間的起始字段和結束字段對數據表進行分區。

5.根據權利要求2所述的方法，其特征在于，所述根據所述數據表的分區信息對所述數據文件進行分組，并根據分組結果生成數據表的分區文件，包括：

根據所述數據表的分區信息將第i個數據文件分為N_i組數據文件；

根據數據表的第j個分區信息在N₁+N₂+…+N_n組數據文件中篩選符合所述第j個分區信息的數據文件，并生成數據表的第j個分區文件；其中，i=1、2…n，j=1、2…s，s、N_i均為正整數。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

對所述數據表的分區文件中的數據進行切片；

相應的，將所述數據表的分區文件加載到對應的數據表的分區中，包括：

將進行數據切片后的所述數據表的分區文件加載到對應的數據表的分區中。

7.一種數據加載裝置，其特征在于，所述裝置包括：

排序模塊，用于根據需要加載的數據的主鍵字段對所述需要加載的數據排序，并生成數據文件；

采樣模塊，用于采用固定間隔對排序后的所述需要加載的數據的主鍵字段采樣，生成第一主鍵字段；

分區模塊，用于根據所述第一主鍵字段生成數據表的分區信息，并根據所述數據表的分區信息對所述數據表進行分區；

處理模塊，用于根據所述數據表的分區信息對所述數據文件進行分組，并根據分組結果生成數據表的分區文件；

加載模塊，用于將所述數據表的分區文件加載到對應的數據表的分區中。

8.根據權利要求7所述的裝置，其特征在于，所述裝置還包括：

切片模塊，用于對所述需要加載的數據切片，得到n組預處理數據；其中，n為正整數；

所述排序模塊，具體用于根據所述預處理數據的主鍵字段分別對所述n組預處理數據排序，并生成n個數據文件。

9.根據權利要求8所述的裝置，其特征在于，

所述采樣模塊，具體用于對排序后的所述n組預處理數據的主鍵字段分別采樣，生成n組第二主鍵字段；對所述n組第二主鍵字段整體排序，并對整體排序后的所述n組第二主鍵字段采樣，生成所述第一主鍵字段。

10.根據權利要求8所述的裝置，其特征在于，所述處理模塊包括：

分組單元，用于根據所述數據表的分區信息將第i個數據文件分為N_i組數據文件；

篩選單元，用于根據數據表的第j個分區信息在N₁+N₂+…+N_n組數據文件中篩選符合所述第j個分區信息的數據文件，并生成數據表的第j個分區文件；其中，i=1、2…n，j=1、2…s，s、N_i均為正整數。