[發(fā)明專利]一種視頻數(shù)據(jù)的存儲方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201510689794.1
• 申請日: 2015-10-22
• 公開（公告）號: CN105404469B
• 公開（公告）日: 2018-11-13
• 發(fā)明（設(shè)計）人: 成浩
• 申請（專利權(quán)）人: 浙江宇視科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;H04N5/76
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 林祥

本發(fā)明提供一種視頻數(shù)據(jù)的存儲方法和系統(tǒng)，應(yīng)用于包括管理節(jié)點、存儲節(jié)點、寫客戶端和讀客戶端的分布式視頻監(jiān)控系統(tǒng)中，該方法包括：管理節(jié)點接收來自寫客戶端的條帶資源請求消息，并為寫客戶端分配條帶，所述條帶中包括至少一個用于存儲校驗塊的數(shù)據(jù)塊；管理節(jié)點向所述條帶對應(yīng)的多個存儲節(jié)點發(fā)送數(shù)據(jù)塊資源請求消息，接收各存儲節(jié)點返回的攜帶數(shù)據(jù)塊信息的數(shù)據(jù)塊資源響應(yīng)消息；管理節(jié)點利用數(shù)據(jù)塊信息確定所述條帶的信息，并通過條帶資源響應(yīng)消息將所述條帶的信息發(fā)送給寫客戶端，寫客戶端利用所述條帶的信息在所述條帶對應(yīng)的多個存儲節(jié)點的相應(yīng)數(shù)據(jù)塊中寫入視頻數(shù)據(jù)。通過本發(fā)明的技術(shù)方案，支持高寫入性能、高空間利用率、高重建性能。

技術(shù)領(lǐng)域

本發(fā)明涉及存儲技術(shù)領(lǐng)域，尤其涉及一種視頻數(shù)據(jù)的存儲方法和系統(tǒng)。

背景技術(shù)

EC(Erasure Code，糾刪碼)作為一種前向錯誤糾正技術(shù)，主要應(yīng)用在網(wǎng)絡(luò)傳輸中避免數(shù)據(jù)的丟失。存儲系統(tǒng)利用EC來提高存儲可靠性。EC一般的實現(xiàn)方式如下：將要存儲在系統(tǒng)中的文件分割成k塊，然后對其編碼得到n個文件分片(n>k)，并對n個文件分片進(jìn)行分布式存儲。基于此，只需要存在k’個可用的文件分片，就可以重構(gòu)出原始文件，從而恢復(fù)出原始文件。糾刪碼的空間復(fù)雜度和數(shù)據(jù)冗余度較低，若文件分割成k塊，編碼后得到n個文件分片，則需要存放在n個系統(tǒng)節(jié)點上，消耗n/k倍的存儲資源。

目前的EC存儲方案均是針對互聯(lián)網(wǎng)行業(yè)的存儲特點設(shè)計的存儲方案，其數(shù)據(jù)存儲是一種少寫多讀模型，即讀數(shù)據(jù)IO(Input Output)比寫數(shù)據(jù)IO更多，且保障數(shù)據(jù)讀取性能更重要。同時，數(shù)據(jù)的冷熱區(qū)分比較明顯，新數(shù)據(jù)的訪問熱度較高，一段時間(比如1個月)之前的老數(shù)據(jù)的訪問熱度較低。

而在視頻監(jiān)控存儲領(lǐng)域，其存儲特點與互聯(lián)網(wǎng)行業(yè)的存儲特點有明顯不同，其數(shù)據(jù)存儲是一種多寫少讀模型，即主要以前端設(shè)備的視頻數(shù)據(jù)的存儲為主，視頻數(shù)據(jù)的讀取相對較少，前端設(shè)備一般會以7×24小時連續(xù)的寫入視頻數(shù)據(jù)。同時，視頻數(shù)據(jù)的冷熱區(qū)分并不明顯，視頻數(shù)據(jù)的日常訪問較少，只有案件發(fā)生之后，用戶才會對案件相關(guān)的視頻數(shù)據(jù)進(jìn)行調(diào)閱和備份。

因此，目前的針對互聯(lián)網(wǎng)行業(yè)的EC存儲方案并不適用于視頻監(jiān)控存儲領(lǐng)域，有必要為視頻監(jiān)控存儲領(lǐng)域設(shè)計一種EC存儲方案。

發(fā)明內(nèi)容

本發(fā)明提供一種視頻數(shù)據(jù)的存儲方法，應(yīng)用于包括管理節(jié)點、存儲節(jié)點、寫客戶端和讀客戶端的分布式視頻監(jiān)控系統(tǒng)中，所述方法包括：

所述管理節(jié)點接收來自寫客戶端的條帶資源請求消息，并為所述寫客戶端分配條帶，所述條帶中包括至少一個用于存儲校驗塊的數(shù)據(jù)塊；

所述管理節(jié)點向所述條帶對應(yīng)的多個存儲節(jié)點發(fā)送數(shù)據(jù)塊資源請求消息，并接收各存儲節(jié)點返回的攜帶數(shù)據(jù)塊信息的數(shù)據(jù)塊資源響應(yīng)消息；

所述管理節(jié)點利用數(shù)據(jù)塊信息確定所述條帶的信息，并通過條帶資源響應(yīng)消息將所述條帶的信息發(fā)送給所述寫客戶端，由所述寫客戶端利用所述條帶的信息在所述條帶對應(yīng)的多個存儲節(jié)點的相應(yīng)數(shù)據(jù)塊中寫入視頻數(shù)據(jù)。

所述管理節(jié)點為所述寫客戶端分配包括至少一個用于存儲校驗塊的數(shù)據(jù)塊的條帶的過程，具體包括：

所述管理節(jié)點從所述條帶資源請求消息中獲得所述寫客戶端所在的數(shù)據(jù)寫入設(shè)備的設(shè)備標(biāo)識，并利用所述設(shè)備標(biāo)識查詢預(yù)先配置的冗余保護(hù)表，得到對應(yīng)的冗余保護(hù)數(shù)量，并為所述寫客戶端分配包括所述冗余保護(hù)數(shù)量個用于存儲校驗塊的數(shù)據(jù)塊的條帶；其中，所述冗余保護(hù)表用于維護(hù)數(shù)據(jù)寫入設(shè)備的設(shè)備標(biāo)識與冗余保護(hù)數(shù)量之間的對應(yīng)關(guān)系，且位于特定位置的數(shù)據(jù)寫入設(shè)備的冗余保護(hù)數(shù)量大于位于非特定位置的數(shù)據(jù)寫入設(shè)備的冗余保護(hù)數(shù)量。

所述管理節(jié)點為所述寫客戶端分配包括至少一個用于存儲校驗塊的數(shù)據(jù)塊的條帶的過程，具體包括：