[發明專利]數據加載方法和系統

有效

• 申請號: 201610323245.7
• 申請日: 2016-05-16
• 公開（公告）號: CN107391508B
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 江峰;李楊
• 申請（專利權）人: 順豐科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25
• 代理公司: 北京志霖恒遠知識產權代理事務所(普通合伙) 11435
• 代理人: 陳姍姍

本發明提供一種數據加載方法和系統，所述方法包括按預設規則生成對應于待加載數據的分片信息表。其中，分片信息表包括待加載數據中每組數據的數據表主鍵和對應的分片索引。在各節點的配置文件中分別配置本節點所要處理的分片索引和任務數。各節點的任務分配單元分別讀取本節點的配置文件，配置本節點加載數據的任務執行單元數量。各任務執行單元根據分配的分片索引加載對應的數據，刪除分片信息表中對應的數據表主鍵。本發明通過對待加載數據進行分片，生成分片信息表，通過分片索引對各節點分配加載任務，并在加載數據時刪除對應的數據主鍵，實現了避免重復加載數據，且支持分布式并發加載數據，且無需在數據庫中標記加載狀態，提高了加載速度。

技術領域

本申請涉及數據加載技術領域，進一步涉及關系型數據庫的數據快速加載，具體涉及一種數據加載方法和系統。

背景技術

隨著社會信息化的發展，近年來全球最大數據庫的容量呈指數增長趨勢，如何對海量數據進行存儲、及時加載和高效查詢成為數據庫應用研究領域的熱點之一。

目前常用的數據加載方式為，根據數據的主鍵，分批查詢得到數據，進行計算，再根據數據主鍵刪除數據，或更新數據狀態為已加載。

普通的多線程數據加載方式可能會重復加載單條(組)數據，而標記數據狀態為已加載的過程耗時較長。因此上述數據加載方式用時較長，難以滿足高速加載數據的需求，同時對并發讀取的支持不夠，難以滿足大數據計算對時效的要求。

發明內容

鑒于現有技術中的上述缺陷或不足，期望提供一種避免重復加載數據且支持分布式并發加載數據的數據加載方法和系統。

第一方面，本發明提供一種數據加載方法，所述方法包括：

按預設規則生成對應于待加載數據的分片信息表。其中，所述分片信息表包括所述待加載數據中每組數據的數據表主鍵和對應的分片索引。

在各節點的配置文件中分別配置本節點所要處理的分片索引和任務數。

各節點的任務分配單元分別讀取本節點的配置文件，配置本節點中加載所述待加載數據的任務執行單元的數量。

各任務執行單元根據本節點的任務分配單元分配的分片索引加載對應的數據，刪除所加載數據在所述分片信息表中的數據表主鍵。

第二方面，本發明還提供一種數據加載系統，所述系統包括若干節點，其中至少一個節點包括：

分片信息配置單元，用于按預設規則生成對應于待加載數據的分片信息表，在各所述節點的配置文件中分別配置本節點所要處理的分片索引和任務數。其中，所述分片信息表包括所述待加載數據中每組數據的數據表主鍵和對應的分片索引。

各所述節點分別包括：

任務分配單元，用于讀取本節點的配置文件，配置本節點中加載所述待加載數據的任務執行單元的數量。

若干任務執行單元，用于根據本節點的任務分配單元分配的分片索引加載對應的數據，刪除所加載數據在所述分片信息表中的數據表主鍵。

本發明諸多實施例提供的數據加載方法和系統通過對待加載數據進行分片，生成包括分片索引和數據主鍵的分片信息表，通過分片索引對各節點分配加載任務，并在加載數據時刪除分片信息表中對應的數據主鍵，實現了避免重復加載數據的同時支持分布式并發加載數據，并且無需在數據庫中標記加載狀態，提高了加載速度；

本發明一些實施例提供的數據加載方法和系統進一步通過對待加載數據中每組數據的預定字段進行哈希運算和求余運算，得到對應的分片索引，從而生成分片信息表，實現對待加載數據的均勻分片，從而提高了加載效率；

本發明一些實施例提供的數據加載方法和系統進一步通過根據系統內的節點數量和每個節點的工作狀態確定分片數量，實現對各節點分配適量的加載任務，從而提高了加載效率；