[發明專利]一種面向實時視頻處理的負載感知云計算系統

有效

• 申請號: 201510330962.8
• 申請日: 2015-06-09
• 公開（公告）號: CN105049485B
• 公開（公告）日: 2018-10-16
• 發明（設計）人: 張衛山;段鵬程;盧清華;宮文娟;李忠偉
• 申請（專利權）人: 中國石油大學(華東)
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F9/50
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 孫營營

本發明提出了一種面向實時視頻處理的負載感知云計算系統，包括：Storm集群，提供基礎設施服務；視頻流產生器，用于視頻流的產生，接受和發送；流服務器，緩存視頻數據并提供統一的消息接口，降低組件之間的耦合；負載檢查器，其綁定負載感知算法以感知任務的計算負載，通過對任務所在節點的CPU、GPU和內存使用情況的分析，通知Storm集群應該選擇處理器類型；參數控制器，用于集群的性能的分析和評估；視頻處理器，其分別提供基于CPU和GPU處理的接口；協議供應者，提供各種協議，通過協議供應者，所述參數控制器與Storm集群進行交互，實現不同協議下的消息交換，同時解除模塊間的耦合。

技術領域

本發明涉及云計算大數據、視頻處理領域，具體涉及一種面向實時視頻處理的負載感知云計算系統。

背景技術

隨著互聯網、移動設備、智能家居、智能交通等商業模式和研究方向的蓬勃發展，海量實時數據需要得到有效利用，而其中因實時性高，數據量大等特點，視頻數據顯得尤為重要。International Data Corporation最新報告“The Digital Universe in 2020”指出，2012年全球大數據的一半都是視頻數據，到2015年該比例將達到65％。

相對于CPU而言，采用GPU處理視頻能大大提高計算速度。然而目前的GPU處理平臺不足之處在于，基于GPU的任務雖然消耗更少的CPU，但是卻會占用大量的內存。特別是在內存不足的情況下，此瓶頸會大大限制處理效率。

因此，如何高效地利用海量數據并充分挖掘其間的信息成了本領域亟待解決的問題。

發明內容

為解決云環境下實時視頻流之間智能信息挖掘所帶來的資源消耗大，數據量大的問題，本發明在基于云計算和大數據平臺的基礎上提出了一種面向實時視頻處理的負載感知云計算系統，能最大化利用云節點資源，提高計算速度。

本發明的技術方案是這樣實現的：

一種面向實時視頻處理的負載感知云計算系統，包括：

Storm集群，提供基礎設施服務；

視頻流產生器，用于視頻流的產生，接受和發送；

流服務器，緩存視頻數據并提供統一的消息接口，降低組件之間的耦合；

負載檢查器，其綁定負載感知算法以感知任務的計算負載，通過對任務所在節點的CPU、GPU和內存使用情況的分析，通知Storm集群應該選擇處理器類型；

參數控制器，用于集群的性能的分析和評估；

視頻處理器，其分別提供基于CPU和GPU處理的接口；

協議供應者，提供各種協議，通過協議供應者，所述參數控制器與Storm集群進行交互，實現不同協議下的消息交換，同時解除模塊間的耦合。

可選地，所述協議供應者提供AOP，RMI，HTTP協議。

可選地，所述負載動態感知算法首先在拓撲作業提交之前統計云環境中每一個計算節點的計算資源；當此拓撲提交后，獲取拓撲每一個worker的資源請求，將此請求與每一個云節點的可用資源比較，當某云節點的可用資源大于該worker的請求時，將該worker規劃到此節點；然后，通過比較該worker對CPU和GPU資源的不同請求，分別計算出在使用CPU和使用GPU的情況下該worker能被容納個數，選擇出能容納最多個數的處理器。

本發明的有益效果是：

(1)構建了一種面向海量實時視頻處理的高效云計算系統，實現了對海量實時視頻的智能處理；

(2)提出了一種CPU與GPU相結合的負載動態感知算法，實現了云節點計算資源的最大化利用。

附圖說明