[發明專利]一種用于大數據的排序方法及系統

有效

• 申請號: 201410252136.1
• 申請日: 2014-06-09
• 公開（公告）號: CN104077361B
• 公開（公告）日: 2018-01-12
• 發明（設計）人: 李鵬
• 申請（專利權）人: 漢柏科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京中政聯科專利代理事務所(普通合伙)11489
• 代理人: 陳超

技術領域

本發明涉及數據統計和處理技術領域，特別涉及一種用于大數據的排序方法和系統。

背景技術

排序是一種常見的操作，對于一些應用來說可能需要將大量數據，根據某種特點進行TopN排序，并給出對應TopN的一系列數據，因此需要一個良好的方法，保證準確性和高效性。

現有技術的排序方法通常是使用現有的排序算法，例如冒泡排序，快速排序，插入排序等。現有的這些排序算法，對于數據量較小時效果比較好。但是，當數據量比較大時，排序的效率則相對較低。例如，當有100萬個數據時，僅需獲得topN(比如，N＝10)的排序，使用現有方法必須對100萬個數據全進行排序，整個工作顯然是耗時且復雜的。

發明內容

本發明的目的是提供一種用于大數據的排序方法，該方法降低了排序的耗時和復雜度，提高了排序效率。

為實現上述目的，本發明實施方式提供一種用于大數據的排序方法，包括如下步驟：

對每個數據建立索引，其中每個索引對應數據的至少一個特征；

建立數組，并從所有數據選取預設目標排序數量的數據的索引放入所述數組；

將剩余數據的預設排序的特征與所述數組中的數據的預設排序的特征進行比較，依據預設排序條件和比較結果確定是否替換所述數組中已存的索引；

當所有數據比較完畢后，根據當前所述數組中的索引查找所述索引對應的數據；

對查找到的數據根據所述預設排序規則進行排序。

根據本發明的一個方面，所述數組的大小等于或大于所述預設目標排序數量。

根據本發明的另一個方面，所述預設排序條件為所述數組中索引對應的每個數據均大于或小于所述數組外的每個剩余數據；所述預設排序規則為升序排序或降序排序。

根據本發明的又一方面，所述特征至少包括用戶名、使用流量、登錄時長和登錄設備。

根據本發明的再一方面，在對查找到的數據根據所述預設排序規則進行排序之后，還包括如下步驟：根據排序后數據的索引，獲取符合所述預設排序規則的每個數據的至少一個特征。

根據本法實施方式的用于大數據的排序方法，在執行TopN排序時，不需要對所有數據進行排序，僅僅是對N+1個數據進行簡單的比較大小的操作，而不是相對復雜的排序操作。當數據量較大時，本發明可以降低排序的耗時和復雜度，提高了排序效率，達到高效的找到TopN的目的。

本發明的另一個目的是提供一種用于大數據的排序系統，該系統降低了排序的耗時和復雜度，提高了排序效率。

為實現上述目的，本發明實施方式提供一種用于大數據的排序系統，包括：索引建立模塊，用于對每個數據建立索引，其中每個索引對應數據的至少一個特征；數組建立模塊，所述數據建立模塊連接至所述索引建立模塊，用于建立數組，并從所有數據選取預設目標排序數量的數據的索引放入所述數組；特征比較模塊，所述特征比較模塊連接至所述數組建立模塊，用于將剩余數據的預設排序的特征與所述數組中的數據的預設排序的特征進行比較；索引確定模塊，所述索引確定模塊連接至所述特征比較模塊，用于依據預設排序條件和比較結果確定是否替換所述數組中已存的索引；數據查找模塊，所述數據查找模塊連接至所述索引確定模塊，用于當所有數據比較完畢后，根據當前所述數組中的索引查找所述索引對應的數據；數據排序模塊，所述數據排序模塊連接至所述數據查找模塊，用于對查找到的數據根據所述預設排序規則進行排序。

根據本發明的一個方面，所述數組的大小等于或大于所述預設目標排序數量。

根據本發明的另一個方面，所述預設排序條件為所述數組中索引對應的每個數據均大于或小于所述數組外的每個剩余數據；所述預設排序規則為升序排序或降序排序。

根據本發明的又一方面，所述特征至少包括用戶名、使用流量、登錄時長和登錄設備。

根據本發明的再一方面，所述數據排序模塊還用于根據排序后數據的索引，獲取符合所述預設排序規則的每個數據的至少一個特征。

根據本發明實施方式的用于大數據的排序系統，在執行TopN排序時，不需要對所有數據進行排序，僅僅是對N+1個數據進行簡單的比較大小的操作，而不是相對復雜的排序操作。當數據量較大時，本發明可以降低排序的耗時和復雜度，提高了排序效率，達到高效的找到TopN的目的。

附圖說明

圖1是根據本發明第一實施方式的用于大數據的排序方法的流程圖；

圖2示意性地示出索引-特征結構；

圖3是根據本發明第二實施方式的用于大數據的排序方法的流程圖；