[發明專利]一種分布式視頻幀隨機讀取的元數據服務系統及工作方法

有效

• 申請號: 201811029412.2
• 申請日: 2018-09-05
• 公開（公告）號: CN109086457B
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 徐楊;邵賢鵬;高勒;李東
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F16/71
• 分類號: G06F16/71
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

1.一種分布式視頻幀隨機讀取的元數據服務系統，其特征在于，所述的元數據服務系統包括：任務分發模塊、任務處理模塊、地址映射模塊、元數據IO與預處理模塊、元數據存儲模塊和元數據重分布模塊，其中任務處理模塊包括元數據應用模塊與元數據生成模塊，所述的元數據存儲模塊包括三個存儲單元，所述的元數據重分布模塊和所述的元數據存儲模塊中的存儲單元均與zookeeper組件進行連接，zookeeper組件通過心跳對存儲單元的工作狀況進行監控，如果出現存儲單元移除或增加都會觸發zookeeper組件并通知所述的元數據重分布模塊做出相應動作；

所述的任務分發模塊利用任務隊列實現對任務的緩沖和分發，與所述的任務處理模塊相連；

所述的元數據應用模塊利用元數據和I幀字典實現對視頻幀的隨機讀取；所述的元數據應用模塊包括幀定位單元和解碼單元，其中，所述的幀定位單元的工作過程如下：如果給定的是幀號，從元數據中獲得I幀字典，然后遍歷I幀字典找到幀號小于等于給定幀且離給定幀最近的I幀，依據視頻幀的GOP結構，利用這個I幀即可解碼和分析給定幀及其后面各個幀，如果給定的是時間，先得到元數據頭信息中的幀率，再根據幀率和時間得到所要的幀號；

所述的解碼單元的工作過程如下：利用視頻解碼庫xuggler將幀定位單元得到的I幀定位到最終的文件位置實現給定幀的讀取并作解碼，最后將得到的靜態圖片或視頻返回給客戶端；

所述的元數據生成模塊通過讀取視頻頭信息和視頻數據生成具有一定結構的視頻元數據；

所述的元數據IO與預處理模塊分別與所述的任務處理模塊和元數據存儲模塊相連，當寫入元數據時，該元數據IO與預處理模塊將元數據生成模塊生成的元數據進行壓縮并與視頻地址形成鍵值對存入元數據存儲模塊；

所述的元數據存儲模塊利用分布式內存框架實現，與所述的元數據重分布模塊相連；所述的元數據存儲模塊使用分布式內存數據庫，并且每個存儲單元采用redis主從結構單元，包括一個主節點和兩個從節點，每個節點以鍵值對的形式存儲數據，鍵值對中視頻地址為鍵，壓縮后的元數據字節數組為值，主從節點之間通過復制技術提高元數據的可靠性；

所述的地址映射模塊采用一致性哈希思想分布式存儲元數據，將元數據等概率的分布在不同的存儲單元中，實現存儲單元的負載均衡，與所述的元數據IO與預處理模塊相連；

所述的元數據重分布模塊利用一致性哈希的局部重分布方法增強元數據存儲模塊的可擴展性。

2.根據權利要求1所述的一種分布式視頻幀隨機讀取的元數據服務系統，其特征在于，所述的元數據是由幀率和I幀字典組成，其中I幀字典是視頻所有I幀索引結構的集合，其中I幀索引結構是幀號與關鍵幀對應的時間偏移量組成的鍵值對。

3.根據權利要求1所述的一種分布式視頻幀隨機讀取的元數據服務系統，其特征在于，所述的任務分發模塊利用任務隊列實現對任務的緩沖，并根據用戶請求的類型分發給任務處理模塊進行處理，其中，所述的用戶請求為幀的隨機讀取請求和視頻上傳請求。

4.根據權利要求1所述的一種分布式視頻幀隨機讀取的元數據服務系統，其特征在于，所述的元數據服務系統接受并處理客戶端發來的請求，并返回處理結果；同時與分布式存儲系統進行單向的數據交互，所述的分布式存儲系統與客戶端進行雙向的數據交互以滿足客戶端上傳視頻和查看視頻的需求。

5.根據權利要求1所述的一種分布式視頻幀隨機讀取的元數據服務系統，其特征在于，所述的元數據生成模塊中視頻元數據的構建過程如下：從分布式存儲系統中讀取視頻頭信息和視頻流數據以獲得幀率并生成I幀字典，其中，生成I幀字典過程為先順序遍歷整個視頻幀并對每個幀進行計數，同時提取每個I幀得到其對應的時間偏移量并與其計數值也即幀號組成鍵值對，得到的鍵值對集合便是I幀字典；如果分布式存儲系統中沒有該視頻，則先將視頻存儲在分布式存儲系統再進行構建；

所述的元數據生成模塊先用一致性哈希算法找到元數據所在的存儲單元再直接對元數據進行刪除。