[發(fā)明專利]海量視頻數(shù)據(jù)存儲系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010888535.2
• 申請日: 2020-08-28
• 公開（公告）號: CN111984200A
• 公開（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 劉艷;曹曉倩
• 申請（專利權(quán)）人: 大連大學(xué)
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 大連智高專利事務(wù)所(特殊普通合伙) 21235
• 代理人: 畢進(jìn)

1.一種海量視頻數(shù)據(jù)存儲系統(tǒng)，其特征在于：包括

存儲服務(wù)器集群，其通過心跳協(xié)議周期性向狀態(tài)管理器反饋其使用情況，

客戶端，其向狀態(tài)管理器發(fā)起數(shù)據(jù)存儲請求，

狀態(tài)管理器，其接收由客戶端發(fā)起的數(shù)據(jù)存儲請求，根據(jù)反饋情況向存儲服務(wù)器集群進(jìn)行存儲任務(wù)的分配，存儲服務(wù)器集群的空閑的存儲服務(wù)器接受存儲任務(wù)，客戶端將視頻流通過該存儲服務(wù)器中虛擬機(jī)文件系統(tǒng)綁定的SSD和磁盤進(jìn)行數(shù)據(jù)的寫入操作，并由狀態(tài)管理器定期對存儲服務(wù)器集群的過期的數(shù)據(jù)進(jìn)行空間的回收；

存儲服務(wù)器寫入狀態(tài)下完成數(shù)據(jù)的存儲和讀取過程，此時(shí)開啟讀寫磁頭，盤片以100％轉(zhuǎn)速處于最高的處理速度；數(shù)據(jù)存儲任務(wù)結(jié)束到下一次接受存儲請求期間，進(jìn)行數(shù)據(jù)的容錯(cuò)，此時(shí)磁盤處于一級休眠，進(jìn)行元數(shù)據(jù)及視頻數(shù)據(jù)的容錯(cuò)和備份，此時(shí)關(guān)閉讀寫磁頭，磁盤盤片轉(zhuǎn)速降低30％，規(guī)避磁頭移動帶來的額外開銷；完成容錯(cuò)且未接受其他任務(wù)的磁盤處于二級休眠，降低盤片速度至50％；讀取請求下完成數(shù)據(jù)的檢索和讀取操作，此時(shí)再次開啟讀寫磁頭；

SSD的高速緩沖結(jié)構(gòu)由超級塊、緩沖區(qū)位圖和緩沖區(qū)片段組成，位于頭部的超級塊單元用于記錄創(chuàng)建時(shí)間、緩沖區(qū)片段大小、數(shù)量及分配情況的參數(shù)信息，超級塊中文件magic格式設(shè)置為0xEF53有效，在格式化時(shí)完成；超級塊后的緩沖區(qū)位圖用于描述緩沖區(qū)片段的使用情況，其內(nèi)部為對應(yīng)數(shù)量的二進(jìn)制描述符；高速緩沖結(jié)構(gòu)的剩余部分由大量的緩沖區(qū)片段構(gòu)成，緩沖區(qū)片段是數(shù)據(jù)臨時(shí)組織空間分配和回收的基本單位，片段的大小設(shè)置為16MB，當(dāng)剩余空間不足分配一個(gè)緩沖區(qū)片段時(shí)則保留剩余空間不用，緩沖區(qū)片段遵循按序分配，由于視頻數(shù)據(jù)自身按時(shí)有序，某一路視頻流的最后一個(gè)Gop段由緩沖區(qū)寫出后就進(jìn)行片段回收；

磁盤的邏輯存儲結(jié)構(gòu)由超級塊、數(shù)據(jù)塊位圖、一級索引塊、二級索引塊及數(shù)據(jù)塊構(gòu)成，位于頭部的超級塊中文件magic格式為0xCD53有效，一級索引塊存放視頻流ID、起止時(shí)間、碼流類型及Gop幀組信息，二級索引塊存放Gop段的詳細(xì)信息；

緩存映射策略支多塊HHD使用同一塊SSD作為緩存盤，設(shè)置“echo”語句將cache set緩存盤的“cset.uuid”attach到普通磁盤的物理位置實(shí)現(xiàn)映射，并同時(shí)設(shè)置緩存映射寫回方式為“writeback”；

視頻數(shù)據(jù)寫入操作按照視頻流存儲請求時(shí)間進(jìn)行排序，利用緩沖區(qū)對其進(jìn)行并發(fā)調(diào)制，將多線程并發(fā)寫任務(wù)轉(zhuǎn)化成單線程順序?qū)懭蝿?wù)，緩沖區(qū)和數(shù)據(jù)塊采用一對一的分配方式，一個(gè)數(shù)據(jù)塊只存儲某一路視頻流，視頻流緩沖區(qū)片段編號呈相鄰遞增關(guān)系；

混合容錯(cuò)策略對元數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行分類容錯(cuò)，其中，針對元數(shù)據(jù)，通過結(jié)構(gòu)化分析獲取元數(shù)據(jù)屬性，據(jù)此屬性提取分離出元數(shù)據(jù)，并用三模冗余進(jìn)行元數(shù)據(jù)容錯(cuò)；針對視頻數(shù)據(jù)，通過改進(jìn)的Liberation碼進(jìn)行容錯(cuò)，將視頻流以GOP幀組為單位分成N個(gè)數(shù)據(jù)塊，與編碼矩陣進(jìn)行矩陣運(yùn)算獲得數(shù)據(jù)元素，將隸屬于同一校驗(yàn)集合Pi、Qi的數(shù)據(jù)元素通過XOR操作得到pi、qi校驗(yàn)元素，根據(jù)編碼原理中不同校驗(yàn)集合存在相同數(shù)據(jù)的特性，采用Pi校驗(yàn)集合進(jìn)行單節(jié)點(diǎn)故障恢復(fù)；單節(jié)點(diǎn)故障數(shù)據(jù)恢復(fù)時(shí)，將數(shù)據(jù)劃分為x、(w-x)兩部分，其中w為故障節(jié)點(diǎn)上元素總數(shù)，x為Pi校驗(yàn)集合恢復(fù)元素個(gè)數(shù)，(w-x)為Qi校驗(yàn)集合恢復(fù)元素個(gè)數(shù)，由于二者存在相同數(shù)據(jù)Y，恢復(fù)數(shù)據(jù)步驟如下：

(1)Pi和Qi存在一個(gè)相同元素時(shí)，Y＝x(w-x)+[(w-x)-1]，則時(shí)取最大值；

(2)Pi和Qi存在兩個(gè)相同元素時(shí)，Y＝x(w-x)+[(w-x)-1]+(w-x-1)，w為素?cái)?shù)(2)，則時(shí)取最大值；

在數(shù)據(jù)恢復(fù)的過程中前個(gè)數(shù)據(jù)由校驗(yàn)集合Pi進(jìn)行恢復(fù)，后個(gè)數(shù)據(jù)由校驗(yàn)集合Qi進(jìn)行恢復(fù)，則需要讀取元素個(gè)數(shù)為