[發明專利]數據的排序方法、裝置及系統

有效

• 申請號: 201611048880.5
• 申請日: 2016-11-22
• 公開（公告）號: CN108093273B
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 郭濤
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: H04N21/25
• 分類號: H04N21/25;H04N21/258;H04N21/466
• 代理公司: 北京鼎佳達知識產權代理事務所(普通合伙) 11348
• 代理人: 王偉鋒;劉鐵生

本發明公開了一種數據的排序方法、裝置及系統，涉及數據處理技術領域，主要目的在于解決現有技術中中心節點在接收并對該些觀看次數較小的視頻數據進行重新排名計算時，需要浪費大量的網絡帶寬資源，使得中心節點由于網絡帶寬資源的浪費，可能存在網絡阻塞的情況發生的問題。本發明的主要技術方案包括：中心節點接收各個分布式節點發送的待處理數據，待處理數據至少包括第一部分待處理數據；根據屬性維度對不同分布式節點中的待處理數據中的第一部分待處理數據進行聚合；根據屬性指標對聚合后的待處理數據中的第一部分待處理數據進行排名，并從排名結果中篩選出目標排名數的待處理數據。

技術領域

本發明涉及數據處理技術領域，特別是涉及一種數據的排序方法、裝置及系統。

背景技術

在對業務數據按照某一個屬性維度進行排名時，通常需要把所有的數據進行計算后，再對計算后的數據進行排名。在分布式系統中，包含多個分布式節點及一個中心節點，在對數據進行排名時，由各個分布式節點進行數據的排名計算，將確定的排名數據發送至中心節點，由中心節點對各個發送的排名數據再次進行排名計算，得到最終的排名結果。

現有技術中，數據的排名統計可應用于對當前直播視頻的頻道排名、收視人數占比、當前點播視頻的排名及收視率人數占比的實時系統中，在實施系統中，需結合分布式系統的應用場景。以對當前點播視頻的排名為例進行說明，在實際應用中，觀看視頻的人數較多，點播的視頻條目數也隨之增多，但是，用戶觀看的視頻也很分散，其中分散的視頻中有大量觀看次數較小的視頻，該些觀看次數較小的視頻數據占總播放數據的比重較大。在分布式系統中心節點對所有的當前點播數據進行排名后，要統計出排名前幾的點播數據時，很可能會將觀看次數較小的視頻數據進行丟棄，但是，該些觀看次數較小的視頻數據仍然會由各個分布式節點發送至中心節點。

發明人在執行上述實施過程時發現，現有技術中，各個分布式節點將觀看次數較小的視頻數據發送至中心節點在時，會占用大量的網絡帶寬資源，中心節點在接收并對該些觀看次數較小的視頻數據進行重新排名計算時，仍然需要浪費大量的網絡帶寬資源，使得中心節點由于網絡帶寬資源的浪費，可能存在網絡阻塞的情況發生，進而無法確保中心節點輸出當前點播視頻的排名的穩定性、實時性。

發明內容

有鑒于此，本發明提供的一種數據的排序方法、裝置及系統，主要目的在于解決現有技術中中心節點在接收并對該些觀看次數較小的視頻數據進行重新排名計算時，需要浪費大量的網絡帶寬資源，使得中心節點由于網絡帶寬資源的浪費，可能存在網絡阻塞的情況發生的問題。

為了解決上述問題，本發明主要提供如下技術方案：

第一方面，本發明提供了一種數據的排序方法，所述方法應用于分布式系統中，包括：

中心節點接收各個分布式節點發送的待處理數據，所述待處理數據至少包括第一部分待處理數據；所述第一部分待處理數據為根據預設屬性維度中的屬性指標排序后的數據，且所述第一部分數據的數量為預設排序數量，所述預設排序數量等于所述分布式系統中的分布式節點的個數與目標排名數的乘積；

根據所述屬性維度對不同分布式節點中的待處理數據中的第一部分待處理數據進行聚合；

根據所述屬性指標對聚合后的待處理數據中的第一部分待處理數據進行排名，并從排名結果中篩選出所述目標排名數的待處理數據。

可選的，所述待處理數據還包括第二部分待處理數據；所述第二部分待處理數據為每個所述分布式節點所處理的全部數據中位于所述第一部分待處理數據后的數據，合并得到的數據，所述第二部分待處理數據的數量少于所述第一部分待處理數據的數量。

可選的，所述屬性維度為視頻，所述屬性指標為視頻播放次數。

可選的，根據所述屬性維度對不同分布式節點中的待處理數據中的第一部分待處理數據進行聚合具體包括：