[發明專利]一種大數據排序方法和系統

有效

• 申請號: 201710320122.2
• 申請日: 2017-05-09
• 公開（公告）號: CN108874798B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 樊宇
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/903
• 分類號: G06F16/903
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 謝安昆;宋志強

1.一種大數據排序方法，其特征在于，利用多線程網絡通信在數據排序設備與讀取排序數據設備之間建立連接；該方法包括：

針對一個應用進行大數據排序時，讀取排序數據設備根據該應用對應的文件數目和文件大小，啟動N個線程同時讀取數據文件的行內容，針對每個線程進行文件的行內容的轉換獲取待排序的數據，并根據所述待排序的數據所屬的數據區間向對應的數據排序設備發送數據排序請求；

數據排序設備接收到讀取排序數據設備發送的數據排序請求時，將該數據排序請求中攜帶的數據按照排序規則進行排序；

當所有數據排序設備完成數據排序時，讀取排序結果設備按照數據區間的邊界值的大小和排序規則，依次從各數據區間對應的排序服務器上獲取排序后的數據，作為該應用對應的排序后的數據；

其中，所述方法進一步包括：預先配置讀取排序數據程序和數據排序服務程序；

針對所述應用進行大數據排序時，根據所述大數據的類型配置的讀取排序數據程序和數據排序服務程序部署讀取排序數據設備和數據排序設備；

其中，所述方法進一步包括：

讀取排序數據設備準備讀取該應用對應的大數據時，將該大數據對應的數據區間總數發送給排序服務發現設備；

排序服務發現設備接收到所述讀取排序數據設備發送的數據區間總數時，在服務器資源池中選擇資源滿足所述數據區間總數需求的服務器，將選擇的服務器部署為數據排序設備；配置各數據區間與數據排序設備的地址信息之間的映射關系，并發送給讀取排序數據設備；

讀取排序數據設備根據所述映射關系連接對應的數據排序設備。

2.根據權利要求1所述的方法，其特征在于，所述方法進一步包括：

所述在服務器資源池中選擇資源滿足所述數據區間總數需求的服務器，之前，所述方法進一步包括：

確定當前是否存在該應用對應的數據排序設備；

若確定存在，且存在的數據排序設備的資源滿足數據區間總數的需求，則選擇資源滿足數據區間總數需求的數據排序設備，配置各數據區間與選擇的數據排序設備的地址信息之間的映射關系，并發送給讀取排序數據設備；

若確定存在，且存在的數據排序設備的資源不能滿足數據區間總數的需求，則再選擇與所述存在的數據排序設備能夠共同滿足數據區間總數的服務器，將選擇的服務器部署為數據排序設備；配置各數據區間，與已存在的和新部署的數據排序設備的地址信息之間的映射關系，并發送給讀取排序數據設備；

若確定不存在，在服務器資源池中選擇資源滿足所述數據區間總數需求的服務器。

3.根據權利要求2所述的方法，其特征在于，所述方法進一步包括：

當數據排序設備接收到讀取排序數據設備發送的數據排序請求時，將本設備上的數據排序功能鎖定；

當數據排序設備將所述數據排序請求中的數據排序完成時，將本設備上的數據排序功能解鎖。

4.根據權利要求1所述的方法，其特征在于，所述方法進一步包括：

讀取排序數據設備上的所有線程均已完成讀取數據時，通知排序服務發現設備；

當排序服務發現設備接收到針對該應用進行大數據讀取的所有讀取排序數據設備已完成讀取數據的通知時，確定針對該應用已完成數據的讀取，將各數據區間和數據排序設備映射關系，以及排序規則發送給讀取排序結果設備，使讀取排序結果設備根據數據區間的邊界值的大小和排序規則從各數據排序設備上依次讀取數據。

5.根據權利要求1-4任一項所述的方法，其特征在于，

所述將該數據排序請求中攜帶的數據按照排序規則進行排序時，通過寫入多鍵值映射multimap中進行排序。