[發明專利]一種分布式視頻存儲的文件生命周期管理方法及系統

有效

• 申請號: 202111437371.2
• 申請日: 2021-11-30
• 公開（公告）號: CN113836094B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 王大川;劉增睿;葉明錦
• 申請（專利權）人: 成都同步新創科技股份有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/182;G06F16/51
• 代理公司: 成都厚為專利代理事務所(普通合伙) 51255
• 代理人: 劉應遷

1.一種分布式視頻存儲的文件生命周期管理方法，其特征在于：所述文件生命周期管理方法包括：

錄像文件存儲步驟：將獲取的錄像文件根據存儲服務生成錄像文件信息和錄像文件索引信息；將錄像文件索引信息和錄像文件按照設定規則寫入到高性能數據庫集群并對數據庫進行優化；

包括：錄像文件索引信息保存：對攝像機設備id進行離散分庫，按天和錄像存儲周期分表，記錄每臺攝像機設備的id，對應的文件信息數據庫信息；

錄像文件信息保存：通過離散算法將每臺攝像機的錄像信息，離散到對應的數據中，分散數據庫單點的訪問量；并通過錄像的生命周期天數，按天建立數據庫表；

錄像文件索引信息及錄像文件查詢獲取步驟：根據查詢請求信息獲取錄像文件索引信息定位錄像文件信息，分離出不同的錄像片段并生成錄像索引文件進行存儲后生成錄像索引文件獲取地址；

所述錄像文件索引信息及錄像文件查詢獲取步驟包括錄像文件索引信息查詢獲取步驟和錄像文件查詢獲取步驟；所述錄像文件索引信息查詢獲取步驟包括：

解析錄像查詢請求信息從索引信息數據庫中獲取攝像機的錄像文件索引信息；

選擇文件信息數據庫并根據生命周期參數選擇對應的表，然后定位到錄像文件信息所在的文件信息數據庫；

判斷文件信息數據庫是否有相應的錄像文件，如果有，則以相同的存儲id分為一個m3u8的方式，將查詢到的錄像文件分離為不同的錄像片段，生成m3u8列表；

將每個錄像片段生成錄像索引文件并存儲在服務器上，并生成對外的錄像索引文件獲取地址；

錄像文件索引信息及錄像文件清理步驟：當獲取文件索引信息為空時刪除其文件索引信息表，解析錄像文件存儲對應存儲集群下發刪除任務刪除分布式存儲集群存儲的錄像文件以及文件索引記錄。

2.根據權利要求1所述的一種分布式視頻存儲的文件生命周期管理方法，其特征在于：所述將獲取的錄像文件根據存儲服務生成錄像文件信息和錄像文件索引信息包括：

通過存儲寫入協議將錄像文件存儲到分布式存儲介質集群中；

以設定時間間隔判斷攝像機設備是否第一次存儲錄像，如果是第一次則生成錄像文件索引信息并將生成的錄像文件索引信息推送到高性能數據庫集群；

按照設定規則生成錄像文件，并生成對應為錄像文件信息，將錄像文件信息推送到高性能數據庫集群。

3.根據權利要求1所述的一種分布式視頻存儲的文件生命周期管理方法，其特征在于：所述錄像文件查詢獲取步驟包括：

根據錄像索引文件獲取地址獲取錄像索引文件并進行解析，得到每個錄像片段實際的網絡地址，并訪問文件代理網關；

通過文件代理網關通過文件轉碼服務在分布式存儲集群中獲取到錄像文件并進行轉碼，并將轉換后的錄像通過文件代理網關返回到播放器播放。

4.根據權利要求1所述的一種分布式視頻存儲的文件生命周期管理方法，其特征在于：所述錄像文件索引信息及錄像文件清理步驟包括：

定時清理任務通過輪詢的方式選擇索引信息庫，獲取一定數量的文件索引信息并判斷是否為空，如果為空，則刪除空的文件索引信息表；

如果不為空，則解析一個攝像機設備錄像存儲的所有路徑信息，刪除任務負載調度，通過路徑信息解析出錄像文件所在的分布式存儲集群，按照集群的負載能力，在負責均衡后下發刪除任務；

根據刪除任務刪除分布式集群存儲的錄像文件，在攝像機設備音視頻路徑的內容都刪除完成后收集刪除通知；

最后刪除文件索引信息表中的文件索引記錄。

5.一種分布式視頻存儲的文件生命周期管理系統，其特征在于：它包括錄像文件存儲模塊、錄像文件索引信息及錄像文件查詢獲取模塊和錄像文件索引信息及錄像文件清理模塊；

所述錄像文件存儲模塊用于將獲取的錄像文件根據存儲服務生成錄像文件信息和錄像文件索引信息；將錄像文件索引信息和錄像文件按照設定規則寫入到高性能數據庫集群并對數據庫進行優化；

所述錄像文件存儲模塊包括錄像文件信息和錄像文件索引信息生成單元以及數據庫優化單元；

所述錄像文件信息和錄像文件索引信息生成單元具體實現步驟包括：

通過存儲寫入協議將錄像文件存儲到分布式存儲介質集群中；

以設定時間間隔判斷攝像機設備是否第一次存儲錄像，如果是第一次則生成錄像文件索引信息并將生成的錄像文件索引信息推送到高性能數據庫集群；

按照設定規則生成錄像文件，并生成對應為錄像文件信息，將錄像文件信息推送到高性能數據庫集群；

所述數據庫優化單元具體實現步驟包括：

錄像文件索引信息保存：對攝像機設備id進行離散分庫，按天和錄像存儲周期分表，記錄每臺攝像機設備的id，對應的文件信息數據庫信息；

錄像文件信息保存：通過離散算法將每臺攝像機的錄像信息，離散到對應的數據中，分散數據庫單點的訪問量；并通過錄像的生命周期天數，按天建立數據庫表；

所述錄像文件索引信息及錄像文件查詢獲取模塊用于根據查詢請求信息獲取錄像文件索引信息定位錄像文件信息，分離出不同的錄像片段并生成錄像索引文件進行存儲后生成錄像索引文件獲取地址；

所述錄像文件索引信息及錄像文件查詢獲取模塊包括錄像文件索引信息查詢獲取單元和錄像文件查詢獲取單元；

所述錄像文件索引信息查詢獲取單元具體實現步驟包括：

解析錄像查詢請求信息從索引信息數據庫中獲取攝像機的錄像文件索引信息；

選擇文件信息數據庫并根據生命周期參數選擇對應的表，然后定位到錄像文件信息所在的文件信息數據庫；

判斷文件信息數據庫是否有相應的錄像文件，如果有，則以相同的存儲id分為一個m3u8的方式，將查詢到的錄像文件分離為不同的錄像片段，生成m3u8列表；

將每個錄像片段生成錄像索引文件并存儲在服務器上，并生成對外的錄像索引文件獲取地址；

所述錄像文件查詢獲取單元具體實現步驟包括：

根據錄像索引文件獲取地址獲取錄像索引文件并進行解析，得到每個錄像片段實際的網絡地址，并訪問文件代理網關；

通過文件代理網關通過文件轉碼服務在分布式存儲集群中獲取到錄像文件并進行轉碼，并將轉換后的錄像通過文件代理網關返回到播放器播放；

所述錄像文件索引信息及錄像文件清理模塊用于當獲取文件索引信息為空時刪除其文件索引信息表；不為空時，解析一個攝像機設備錄像存儲的所有路徑信息，刪除任務負載調度，通過路徑信息解析出錄像文件所在的分布式存儲集群，按照集群的負載能力，在負責均衡后下發刪除任務，并根據刪除任務刪除分布式存儲集群存儲的錄像文件以及文件索引記錄。