[發明專利]一種增設緩存集群的視頻數據中心及其緩存資源調度方法

有效

• 申請號: 201310697540.5
• 申請日: 2013-12-18
• 公開（公告）號: CN103747274A
• 公開（公告）日: 2014-04-23
• 發明（設計）人: 馬華東;高一鴻;張海濤;魏汪洋;黃灝;丁鴻凱
• 申請（專利權）人: 北京郵電大學
• 主分類號: H04N21/231
• 分類號: H04N21/231;H04N21/218;H04N21/262;H04N21/258
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 夏憲富

技術領域

本發明涉及一種增設緩存集群的視頻數據中心及其緩存資源調度方法，屬于云存儲的技術領域。

背景技術

視頻數據中心是由多個服務器組成，用于對視頻數據進行分布式處理與存儲，并利用視頻數據中心存儲的各類型數據為用戶提供相應服務。

參見圖1，介紹目前常見的視頻數據中心的系統結構組成：包括由處理集群、存儲集群和內容分發集群構成的現有視頻數據中心與數據源和用戶群。其中，數據源不斷產生視頻數據，并上載到視頻數據中心中。視頻數據中心的處理集群由多個處理服務器組成，用于從存儲集群獲取的需要分析處理的視頻數據及其他類型數據，并在執行相應處理后，再將處理結果存儲于存儲集群中。視頻數據中心的存儲集群由多個數據存儲服務器組成，用于存儲視頻數據中心產生的有用數據，以及從數據源上載的視頻數據，并采用設定的存儲策略持久地存儲這些數據；當其他集群需要這些數據時，及時、高效地讀取該數據，并轉發給相應集群。視頻數據中心的內容分發集群由多個內容分發流媒體服務器組成，負責從存儲集群獲取需要分發給用戶的視頻數據，并等待用戶的訪問；然后向用戶分布式分發其感興趣的視頻數據。用戶群通過訪問數據中心的內容分發集群的流媒體服務器獲取感興趣的媒體資源。

現有的視頻數據中心的任務是要保障其視頻數據內容分發的服務質量。現有的許多資源調度方案分別用于縮短分發時間、提高系統資源利用率、以及均衡與合理配置集群中各節點的負載等多個目標。由于視頻數據中心中采用了大量的分布式技術及并行處理技術。所以，在資源調度的過程中，如何實現集群的負載合理分配，吞吐量優化與提高處理效率等問題就格外受到關注。

視頻數據中心中針對內容分發的資源調度主要有兩個途徑：放置在存儲服務器中的視頻文件在內容分發集群中的緩存資源調度策略，以及用戶訪問內容分發集群中的緩存文件時的負載調度策略。

內容分發集群中緩存資源調度策略的目標是希望在緩存用戶感興趣的視頻數據的同時，提高資源的利用率，減少分發服務的響應時間。為了實現上述目標，已經提出的調度策略有如下幾種：

（1）、從提高資源利用率的角度出發，提高流媒體服務器與存儲服務器間的帶寬利用率，以提高資源利用率。

（2）、從負載均衡的角度出發，在存儲集群向內容分發集群發送文件過程中，均衡不同文件對網絡帶寬的占用的同時，還要均衡存儲集群中的存儲服務器發送的文件對緩存資源的占用。

（3）、從減少分發服務響應時間的角度出發，根據文件的訪問頻率對視頻文件采取對應的緩存策略。

用戶訪問內容分發集群中的緩存文件時的負責調度策略目標是：基于訪問量的負載均衡調度策略，內容分發集群盡可能地均衡用戶訪問的緩存文件所占用的緩存資源，避免用戶無法及時獲取感興趣的資源或者單一緩存資源過載的情況。為了解決上述問題，傳統的調度策略是向用戶提供緩存文件的多個副本，再由視頻數據中心將這些副本放置在內容分發服務集群中的不同服務器節點上。在用戶訪問過程中，視頻數據中心通過統計訪問需求，并預測用戶訪問量，以決定哪些緩存文件已經過時需要替換，以及緩存文件所占緩存資源的比例。通過上述方式，視頻數據中心可以很好地調節各個集群中各節點的負載，防止發生訪問瓶頸與節點過載的情況。

現有技術的資源調度策略充分考慮了視頻數據中心在提供內容分發服務過程中遇到的挑戰，很好地解決了用戶如何高效訪問資源以及集群資源負載均衡的問題。但是，隨著物聯網等新技術的出現，組成視頻數據中心的服務器越來越多，接入視頻數據中心的設備也越來越多。各類型的視頻數據中心的各個服務器個體之間也存在不小的差異。部分新接入設備的加入，形成了24×7的連續數據流，這對視頻數據中心的工作造成了很大的壓力。現有的視頻數據中心及其資源調度策略已經無法很好地解決此類問題，如何解決上述問題已經成為業內科技人員關注的焦點課題。

例如，現在連接到數據中心的終端不再是用戶參與的智能終端。一些處理能力較弱的非智能終端也被連接到數據中心，以提供更廣泛的信息和幫助人們更好地了解自己周圍的環境。以網絡攝像頭為代表的非智能終端提供了大量內容豐富的視頻數據，使其成為視頻數據中心獲取信息的重要途徑。