[發明專利]一種用于確定流處理請求等級的服務器

有效

• 申請號: 201611207585.X
• 申請日: 2016-12-23
• 公開（公告）號: CN108243200B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 熊兆;任麗君;黃玉甫
• 申請（專利權）人: 中科星圖股份有限公司
• 主分類號: H04L67/1008
• 分類號: H04L67/1008
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

本發明涉及一種用于確定流處理請求等級的服務器，包括接收端口，分析裝置和分配端口。本發明通過分析流處理執行單元的工作動態評估流處理請求的處理等級，以用于解決如何確定執行所述流處理請求任務的流處理執行單元的技術問題。

【技術領域】

本發明屬于計算機數據處理領域，尤其涉及一種用于確定流處理請求等級的服務器。

【背景技術】

現在，計算機數據處理技術已經在各個領域都得到了深入應用，根據數據處理的特點分為實時處理和流式處理，其中，實時處理對數據處理的時間有嚴格的要求，需要在極短的時間內完成處理，其處理的數據量通常較小，與實時處理相對應，為流式處理(流處理)，其特點是對處理時間沒有嚴格的要求，其處理的數據量通常非常大，但數據的處理需要相應的處理時間，因此，當接收的數據流速率比處理的數據流速率高時，則會出現，待處理的數據越積越多，會引起數據阻塞。特別是隨著互聯網的飛速發展，基于網絡的音視頻傳輸流量也越來越大，網絡音、視頻流已深入到了人們的日常生活，例如：音、視頻流的編解碼服務、格式轉化服務等等，這對流處理請求服務能夠得到及時響應提出了新的要求。一種常用的避免流處理請求服務阻塞的做法是提高數據流的處理速度，如采用計算性能更好的數據處理單元，因而對硬件的成本要求更高。因此，通常采用另外一種做法，即通過調度的方式將不同的流處理請求分配給多個不同的數據處理單元，從而降低流處理請求服務的延遲。常用的隨機調度手段雖然簡單，但由于不考慮數據處理單元的運行情況，在實踐中，常常會出現系統資源浪費的情況，從而導致整體運行效率降低。所以，如何將流處理請求高效的分配給流數據處理單元是流處理技術中關鍵技術之一。

【發明內容】

為了解決現有技術中的上述問題，本發明提出了一種服務器，其用于確定流處理請求等級。

本發明采用的技術方案如下，包括：

接收端口，與網絡側連接，接收來自網絡側網絡上的請求方的流處理請求；

分析裝置，對所述接收的流處理請求按照預先設定的規則進行分析，確定所述流處理請求的處理等級，

分配端口，與流處理側連接，按照所述的處理等級將所述流處理請求發送給位于流處理側指定的執行服務器，

優選的，所述執行服務器至少包括二臺獨立的流處理執行單元,每個執行單元定期將其工作狀態發送給所述分析裝置；

所述分析裝置還包括一數據庫，用于保存接收到的各執行單元最新的工作狀態。

優選的，所述工作狀態包括執行單元的運行負載率和存儲器的使用率，所述流處理執行單元的工作狀態的信息值按照如下步驟確定：

1)獲取執行單元的運行負載率Pcpu,所述運行負載率為執行單元的處理器的使用率；

2)獲取執行單元的存儲器的使用率Pmem，所述使用率為存儲器被使用的空間占總空間的比例；

3)計算執行單元工作狀態的信息值：

S_i＝α×(1-Pcpu)+β×(1-Pmem)，其中S_i為工作狀態的信息值，其中下標i為執行單元的編號，α和β為加權系數，滿足α+β≤1。

優選的，所述接收端口接收到流處理請求時，根據請求的參數確定所述流處理請求的處理等級，其中，所述請求的參數包括數據流的類型和長度，包括如下步驟：

(1)計算執行服務器的空置率Pt，其中，M為執行服務器所包括的執行單元的總數，S_i為接收到的執行服務器中的編號為i的執行單元的工作狀態的信息值；