[發明專利]數據收集分發方法及裝置

在審

• 申請號: 201810793438.8
• 申請日: 2018-07-18
• 公開（公告）號: CN108900434A
• 公開（公告）日: 2018-11-27
• 發明（設計）人: 侯云飛
• 申請（專利權）人: 北京木瓜移動科技股份有限公司
• 主分類號: H04L12/865
• 分類號: H04L12/865
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 王術蘭

本發明實施例提供一種數據收集分發方法及裝置，屬于數據處理領域。該方法通過獲取多個數據源，然后獲取所述多個數據源的優先級，再基于所述多個數據源的優先級將所述多個數據源分為多個隊列，基于所述多個數據源的不同的數據分類將每個隊列分為多個子隊列，然后基于每個隊列的優先級及每個子隊列的優先級，對所述多個數據源進行發送，因此，本方案中將數據源分為不同的多個隊列及多個子隊列，根據多個隊列和多個子隊列的優先級對數據源進行發送，由此提高了數據源的有效處理，避免了因數據量過大而無法對數據源進行及時有效的處理的問題。

技術領域

本發明涉及數據處理領域，具體而言，涉及一種數據收集分發方法及裝置。

背景技術

隨著云計算、大數據技術的發展，數據的來源多樣，數據格式不盡相同，運用大數據技術從海量數據中獲取潛在的有用信息已得到了各方面的廣泛關注。在全球化的數據系統中同時存在著日志數據的中轉和匯總、分發等。

現有技術中對數據的收集和分發未有一個有效的方式，一般都是通過提升設備的性能來加快數據的傳輸，但是在數據量巨大的情況下，還是無法保證數據能有效的傳輸，因此，如何有效的收集、分發不同來源的數據，從而保證數據及時有效地處理，越來越受到重視。

發明內容

有鑒于此，本發明實施例的目的在于提供一種數據收集分發方法及裝置，以改善上述技術問題。

第一方面，本發明實施例提供了一種數據收集分發方法，所述方法包括：

獲取多個數據源；

獲取所述多個數據源的優先級；

基于所述多個數據源的優先級將所述多個數據源分為多個隊列；

基于所述多個數據源的不同的數據分類將每個隊列分為多個子隊列；

基于每個隊列的優先級及每個子隊列的優先級，對所述多個數據源進行發送。

進一步地，獲取所述多個數據源的優先級，包括：

判斷所述多個數據源中是否攜帶有優先級標簽；

若是，則從所述多個數據源中獲取所述多個數據源的優先級；

若否，則為未攜帶有所述優先級標簽的數據源按照預設規則分配對應的優先級。

進一步地，基于所述多個數據源的優先級將所述多個數據源分為多個隊列，包括：

將具有相同優先級的數據源分為同一個隊列，以獲得多個隊列。

進一步地，基于所述多個數據源的不同的數據分類將每個隊列分為多個子隊列，包括：

將所述同一個隊列中的數據源按照不同的數據類型分為多個子隊列；或者

將所述同一個隊列中的數據源按照不同的數據主題分為多個子隊列；或者

將所述同一個隊列中的數據源按照不同的數據源IP分為多個子隊列。

進一步地，基于所述多個數據源的不同的數據分類將每個隊列分為多個子隊列之后，基于每個隊列的優先級及每個子隊列的優先級，對所述多個數據源進行發送之前，所述方法還包括：

為每個子隊列分配對應的CPU資源及內存資源；

基于每個子隊列的CPU資源及內存資源確定每個子隊列的優先級。

第二方面，本發明實施例提供了一種數據收集分發裝置，所述裝置包括：

數據獲取模塊，用于獲取多個數據源；

優先級獲取模塊，用于獲取所述多個數據源的優先級；