[發明專利]一種海量視頻副本存放方法

在審

• 申請號: 201811327645.0
• 申請日: 2018-11-08
• 公開（公告）號: CN111163331A
• 公開（公告）日: 2020-05-15
• 發明（設計）人: 張超;趙凱
• 申請（專利權）人: 北京航天長峰科技工業集團有限公司
• 主分類號: H04N21/231
• 分類號: H04N21/231;H04N5/781
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供一種海量視頻副本存放方法，在本地機架中存放備份數據時，根據剩余空間占磁盤總容量的比例進行選擇，來減少本地機架上的負載不均衡；在跨機架選擇數據節點時，不僅考慮剩余空間存儲的因素，也考慮網絡開銷的影響。有效的解決了負載均衡問題，同時根據Hadoop分布式運算的特點，存放在高帶寬、大內存、磁盤利用率高的機器的視頻數據可以最大化進行智能視頻分析處理。

技術領域

本發明涉及網絡視頻技術領域，具體涉及一種網絡環境下海量視頻副本的存放方法。

背景技術

HDFS分布式策略在選擇存放副本的DataNode時，已經盡可能地選取合適的節點，但是并不是最合適，比如對存儲空間的考慮，僅僅只是判斷副本是否能夠存放到剩余的空間，卻忽略了選擇剩余空間率最大的數據節點。隨機選擇數據節點的方式，有很大幾率使副本存放在某些空間使用率高的數據節點上，與之相對應的是空間使用率比較低的數據節點上卻只有很少的副本。特別是在一個較大的分布式集群已經運行了很久之后，每個數據節點都有比較重的存儲負載，此時若有少量的新的空載節點加入，由于系統采用的隨機算法，分布式系統有可能繼續在有較重存儲負擔的節點上存儲數據，對于新的輕載的數據節點沒有有效利用，甚至可能出現重載節點因為耗盡空間而停止服務。經研究表明，在不停向HDFS集群上傳數據，當空間使用率超過50％時，負載不均衡現象便會出現。雖然HDFS提供了動態調整集群負載的工具Balancer，然而在利用此工具時，數據遷移占用的網絡帶寬較大，效率低下，最重要的是需要管理員手動進行操作。由于DataNode上有可能因為數據遷移造成嚴重的I/O負擔，影響了對客戶端的讀寫響應，因而往往只適合在集群空閑時間使用。假設集群進行長時間讀寫操作，那么某些節點的負載就有可能來不及及時調整，造成集群的負載不均衡度越來越大。

發明內容

本發明的目的在于對HDFS本身的副本分布策略做出改進，在文件首次寫入的時候便對其進行負載均衡處理，讓數據塊能相對平均的分布在數據節點上，以避免負載不均衡現象。

本發明的技術方案如下：

一種海量視頻副本存放方法，其特征在于：

(1)在本地機架中存放備份數據時，根據剩余空間占磁盤總容量的比例進行選擇，來減少本地機架上的負載不均衡；

(2)在跨機架選擇數據節點時，不僅考慮剩余空間存儲的因素，也考慮網絡開銷的影響，根據以下等式選擇節點：

S(數據節點)＝f(網絡開銷，剩余存儲容量)，

其中f(網絡開銷，剩余存儲容量)同時考慮了網絡開銷與剩余存儲容量這兩個因素。S(數據節點)是f函數開銷最小的數據節點；

同時引入變量ɑ，根據以下公式來衡量網絡開銷以及剩余存儲空間所占的比例：

S(數據節點)＝ɑN+(1-ɑ)C(0＝ɑ＝1)

其中N表示當前數據節點網絡可用的連接數占總共連接數的比例，C表示剩余存儲空間占總空間的比例，ɑ表示兩個因素的權重；根據系統的實際情況，確定ɑ值的大小，當網絡開銷占主導因素時，ɑ值取較大，反之取較小。

本發明針對原有的hadoop副本放置策略的局限性進行分析，提出并實現了副本分布策略，極為有效的解決了負載均衡問題，同時根據Hadoop分布式運算的特點，存放在高帶寬、大內存、磁盤利用率高的機器的視頻數據可以最大化進行智能視頻分析處理。

附圖說明

圖1是本發明的視頻副本放置策略流程圖。

具體實施方式

如圖1所示，本發明的實現方式如下：