[發(fā)明專利]一種分布式計算平臺中視頻數據遷移方法及裝置

在審

• 申請?zhí)枺?/td>: 201710231948.1
• 申請日: 2017-04-11
• 公開（公告）號: CN106937092A
• 公開（公告）日: 2017-07-07
• 發(fā)明（設計）人: 張海濤;馬華東;許彬;唐炳昌;嚴瑾
• 申請（專利權）人: 北京郵電大學
• 主分類號: H04N7/18
• 分類號: H04N7/18;H04N5/76;H04N21/231;H04L29/08
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙)11413
• 代理人: 孫翠賢,項京

技術領域

本發(fā)明涉及視頻數據處理技術領域，特別是涉及一種分布式計算平臺中視頻數據遷移方法及裝置。

背景技術

隨著科學技術的發(fā)展，每天產生的視頻數據越來越多，例如：監(jiān)控視頻數據，為了對所產生的大量視頻數據進行處理，分布式計算平臺應運而生，分布式計算平臺運行在分布式集群上，其中，分布式集群一般包括多個物理存儲節(jié)點和一個管理節(jié)點，物理存儲節(jié)點用于存儲視頻數據以及處理視頻數據，管理節(jié)點用于對存儲節(jié)點進行管理。

現有技術中通過分布式集群進行視頻數據放置時，是一個隨機放置的過程，例如：將視頻數據集合中的視頻數據隨機分配至分布式集群中的各個物理存儲節(jié)點中，其中，一個視頻數據對應一個物理存儲節(jié)點。

由于現有技術中通過分布式集群進行視頻數據放置時是面向存儲視頻數據考慮的，即將視頻數據存儲到各個物理存儲節(jié)點即可，因此，在視頻數據放置之后，產生某個物理存儲節(jié)點的負載很大，某個物理存儲節(jié)點的負載很小的情況。當分布式集群需要進行視頻數據計算時，管理節(jié)點將檢測集群中各個物理存儲節(jié)點的負載情況，將負載較大的物理存儲節(jié)點上的視頻數據遷移到負載較低的物理存儲節(jié)點上，即在集群內部進行大量的視頻數據遷移以使負載均衡，導致集群內部產生大量的網絡傳輸，使得集群內部網絡資源消耗較大。

發(fā)明內容

本發(fā)明實施例的目的在于提供一種分布式計算平臺中視頻數據遷移方法及裝置，以減少集群內部網絡資源的消耗。具體技術方案如下：

一種分布式計算平臺中視頻數據遷移方法，應用于分布式集群中的管理節(jié)點，所述分布式集群還包括N個物理存儲節(jié)點，所述方法包括：

預估視頻數據集合中的各個待分配視頻數據在第一物理存儲節(jié)點上的運行時間，其中，所述第一物理存儲節(jié)點為所述N個物理存儲節(jié)點中的任意一個物理存儲節(jié)點；

基于所述各個待分配視頻數據在第一物理存儲節(jié)點上的運行時間，以及所述各個物理存儲節(jié)點的當前負載，預估所述各個物理存儲節(jié)點對應的當前待分配視頻數據隊列，其中，各個當前待分配視頻數據隊列為可使各個物理存儲節(jié)點負載均衡的隊列；

在各個物理存儲節(jié)點運行對應的當前待分配視頻數據隊列中的待分配視頻數據時，實時監(jiān)測各個當前待分配視頻數據隊列中是否存在滿足視頻數據遷移條件的待遷移視頻數據，如果存在，對所存在的待遷移視頻數據進行數據遷移。

可選的，所述預估視頻數據集合中的各個待分配視頻數據在第一物理存儲節(jié)點上的運行時間的步驟，包括：

根據第一物理存儲節(jié)點上的相對速度因子，計算視頻數據集合中的各個待分配視頻數據在所述第一物理存儲節(jié)點上的運行時間，其中，每一物理存儲節(jié)點設置有一相對速度因子。

可選的，所述基于所述各個待分配視頻數據在第一物理存儲節(jié)點上的運行時間，以及所述各個物理存儲節(jié)點的當前負載，預估所述各個物理存儲節(jié)點對應的當前待分配視頻數據隊列的步驟，包括：

根據所述運行時間的長短，對所述待分配視頻數據進行排序，得到所述待分配視頻數據的第一排列順序；

基于所述第一排列順序確定一第一待分配視頻數據，基于各個物理存儲節(jié)點的當前負載，確定一第二物理存儲節(jié)點，將所述第一待分配視頻數據分配至所述第二物理存儲節(jié)點對應的當前待分配視頻數據隊列中，并基于已分配的第一待分配視頻數據，預估所述第二物理存儲節(jié)點的當前負載；

判斷所述視頻數據集合中的第二待分配視頻數據的數量是否為1，其中，所述第二待分配視頻數據為未分配到各個物理存儲節(jié)點對應的當前待分配視頻數據隊列中的待分配視頻數據；

如果是，將所述第二待分配視頻數據確定為第一待分配視頻數據，基于各個物理存儲節(jié)點的當前負載，確定一第三物理存儲節(jié)點，將所述第一待分配視頻數據分配至所述第三物理存儲節(jié)點對應的當前待分配視頻數據隊列中；

如果否，返回執(zhí)行基于所述第一排列順序確定一第一待分配視頻數據的步驟。

可選的，所述在各個物理存儲節(jié)點運行對應的當前待分配視頻數據隊列中的待分配視頻數據時，實時監(jiān)測各個當前待分配視頻數據隊列中是否存在滿足視頻數據遷移條件的待遷移視頻數據，如果存在，對所存在的待遷移視頻數據進行數據遷移的步驟，包括：

針對每個當前待分配視頻數據隊列，判斷該當前待分配視頻數據隊列中待分配視頻數據的數量是否大于預設數量；