[發明專利]一種視頻圖像的處理方法、裝置與系統

有效

• 申請號: 202010798009.7
• 申請日: 2020-08-10
• 公開（公告）號: CN111970509B
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 劉霖楓;沈秋;馬展;王莉;武曉陽
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: H04N19/136
• 分類號: H04N19/136;H04N19/42;H04N19/91;G06T9/00;G06N3/04;G06N3/08
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 楊春香

1.一種視頻圖像的處理方法，其特征在于，應用于發送端設備，所述方法包括：

利用預先訓練的通用特征提取網絡對待分析數據進行特征提取，以得到所述待分析數據的通用特征；

利用預先訓練的特征壓縮網絡對所述通用特征進行編碼，并將所述通用特征對應的編碼碼流發送給接收端設備，以使所述接收端設備利用預先訓練的特征解壓縮網絡對所述通用特征對應的編碼碼流解碼得到所述通用特征后，利用預先訓練的智能分析網絡對解碼得到的所述通用特征進行智能分析；

其中，所述通用特征網絡的訓練是通過對包括所述通用特征提取網絡、所述特征壓縮網絡、所述特征解壓縮網絡以及重建網絡的特征壓縮/解壓縮模塊進行訓練的方式實現的；以預設訓練集中的訓練樣本作為特征壓縮/解壓縮模塊的輸入，重建網絡輸出的重建多媒體數據作為特征壓縮/解壓縮模塊的輸出，并基于重建多媒體數據與原多媒體數據之間的損失對特征提取網絡、特征壓縮網絡、特征解壓縮網絡以及重建網絡的參數進行優化調整；

所述智能分析網絡的訓練是以訓練樣本經過訓練好的所述通用特征提取網絡處理后的輸出特征為輸入進行訓練的方式實現的。

2.根據權利要求1所述的方法，其特征在于，所述特征壓縮網絡為超先驗編碼網絡，所述特征解壓縮網絡為超先驗解碼網絡；所述待分析數據的通用特征為所述通用特征對應的隱變量；

所述利用預先訓練的所述特征壓縮網絡對所述通用特征進行編碼，包括：

將所述隱變量輸入預先訓練的所述超先驗編碼網絡，以生成包括所述隱變量的統計特征的緊湊表達；

對所述緊湊表達進行量化和算術編碼，以得到所述緊湊表達對應的編碼碼流；

對所述緊湊表達對應的編碼碼流進行算術解碼，并輸入預先訓練的所述超先驗解碼網絡，以得到所述隱變量完整的統計特性；

基于所述隱變量完整的統計特性，對所述隱變量進行量化和編碼，以得到所述隱變量對應的編碼碼流；

所述將所述通用特征對應的編碼碼流發送給接收端設備，包括：

將所述緊湊表達對應的編碼碼流以及所述隱變量對應的編碼碼流發送給所述接收端設備。

3.一種視頻圖像的處理方法，其特征在于，應用于接收端設備，所述方法包括：

接收發送端設備發送的待分析數據的通用特征對應的編碼碼流；其中，所述待分析數據的通用特征對應的編碼碼流是發送端設備利用預先訓練的特征壓縮網絡對所述待分析數據的通用特征進行編碼得到的，所述待分析數據的通用特征是所述發送端設備利用預先訓練的通用特征提取網絡對所述待分析數據進行特征提取得到的；

利用預先訓練的所述特征解壓縮網絡對所述待分析數據的通用特征對應的編碼碼流進行解碼，以得到所述待分析數據的通用特征；

利用預先訓練的智能分析網絡對解碼得到的所述通用特征進行智能分析；

所述通用特征網絡以及所述特征壓縮網絡的訓練是通過對包括所述通用特征提取網絡、所述特征壓縮網絡、特征解壓縮網絡以及重建網絡的特征壓縮/解壓縮模塊進行訓練的方式實現的；以預設訓練集中的訓練樣本作為特征壓縮/解壓縮模塊的輸入，重建網絡輸出的重建多媒體數據作為特征壓縮/解壓縮模塊的輸出，并基于重建多媒體數據與原多媒體數據之間的損失對特征提取網絡、特征壓縮網絡、特征解壓縮網絡以及重建網絡的參數進行優化調整；

所述智能分析網絡的訓練是以訓練樣本經過訓練好的所述通用特征提取網絡處理后的輸出特征為輸入進行訓練的方式實現的。

4.根據權利要求3所述的方法，其特征在于，所述特征壓縮網絡為超先驗編碼網絡，所述特征解壓縮網絡為超先驗解碼網絡；所述待分析數據的通用特征為所述通用特征對應的隱變量；所述待分析數據的通用特征對應的編碼碼流包括隱變量對應的編碼碼流以及緊湊表達對應的編碼碼流，所述緊湊表達包括所述隱變量的統計特征；

所述利用預先訓練的所述特征解壓縮網絡對所述待分析數據的通用特征對應的編碼碼流進行解碼，包括：

對所述緊湊表達對應的編碼碼流進行算術解碼，并輸入預先訓練的所述超先驗解碼網絡，以得到所述隱變量完整的統計特性；

基于所述隱變量完整的統計特性，對所述隱變量對應的編碼碼流進行算術解碼，以得到所述通用特征對應的隱變量。