[發明專利]一種視頻信息處理方法、裝置及系統

有效

• 申請號: 201710338736.3
• 申請日: 2017-05-15
• 公開（公告）號: CN108882020B
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 田永鴻;丁琳;黃鐵軍
• 申請（專利權）人: 北京大學
• 主分類號: H04N21/44
• 分類號: H04N21/44;H04N21/4402;H04N21/4728;H04L29/06;H04L29/08
• 代理公司: 北京晉德允升知識產權代理有限公司 11623
• 代理人: 吳紹群;張馨

1.一種視頻信息處理方法，其特征在于，包括：

提取各視頻幀的特征；

判定所述特征的類型，所述類型反映所述特征與參考特征之間的時域相關程度，

所述判定所述特征的類型，具體包括：

分別將所述各視頻幀中的每幀作為當前幀并執行,

根據所述各視頻幀中與當前幀屬于同一視頻序列的參考幀的特征，確定當前幀的特征的參考特征，所述視頻序列中的幀是按照時間排序的,

根據當前幀的特征與當前幀的特征的參考特征，判定當前幀的特征的類型；

采用預定的匹配于所述類型的編碼方式，為所述特征編碼，得到編碼后特征，

所述編碼方式包括以下至少一種:

對當前幀的特征進行獨立編碼，對當前幀的特征與其參考特征之間的殘差進行編碼，將當前幀的參考特征的編碼結果作為當前幀的編碼結果，

所述對當前幀的特征與其參考特征之間的殘差進行編碼，具體包括：

根據率失準優化模型，在預定的各殘差編碼模式中，確定所述殘差匹配的殘差編碼模式，所述各殘差編碼模式對應的編碼損失程度不同，

采用確定的殘差編碼模式，對所述殘差進行編碼，

其中，所述率失準優化模型是根據視覺分析任務的結果準確率的損失函數確定的，所述損失函數根據所述編碼損失程度確定；

將所述編碼后特征發送給服務器，以便于所述服務器對所述編碼后特征解碼后用于所述視覺分析任務。

2.如權利要求1所述的方法，其特征在于，所述提取各視頻幀的特征，具體包括：

接收一個或多個終端采集的視頻序列；

提取所述視頻序列包含的各視頻幀內至少部分區域的特征。

3.如權利要求1所述的方法，其特征在于，當前幀的參考幀是基于對當前幀所屬的在視頻序列中的幀進行順序參考或者自適應參考確定的，所述自適應參考根據特征間距離進行。

4.如權利要求1所述的方法，其特征在于，所述根據當前幀的特征與當前幀的特征的參考特征，判定當前幀的特征的類型，具體包括：

計算當前幀的特征與當前幀的特征的參考特征之間的差異程度表征值；

根據計算出的差異程度表征值，判定當前幀的特征的類型。

5.如權利要求1所述的方法，其特征在于，所述在預定的各殘差編碼模式中，確定所述殘差匹配的殘差編碼模式，具體包括：

將所述殘差劃分為多個子向量；

在預定的各殘差編碼模式中，分別確定每個所述子向量匹配的殘差編碼模式；

采用確定的殘差編碼模式，對所述殘差進行編碼，具體包括：

通過分別采用每個所述子向量匹配的殘差編碼模式對對應的子向量進行編碼，實現對所述殘差進行編碼。

6.如權利要求1所述的方法，其特征在于，按照如下方法確定所述損失函數：

根據指定的概率分布，確定待編碼特征與待匹配特征之間的距離的概率分布，作為第一概率分布，其中，所述待匹配特征根據視覺分析任務樣本得到；

根據先驗概率，確定所述待編碼特征對應的解碼后特征與所述待匹配特征之間的距離的概率分布，作為第二概率分布；

根據所述第一概率分布、所述第二概率分布，以及帶結果標簽的視覺分析任務，分別計算視覺分析任務在基于編碼前的所述待編碼特征執行時的結果準確率，以及所述視覺分析任務在基于解碼后的所述待編碼特征執行時的結果準確率；

根據分別計算的結果準確率，確定所述損失函數。

7.如權利要求1所述的方法，其特征在于，所述為所述特征編碼，具體包括：

為所述特征進行熵編碼；

所述率失準優化模型是根據所述損失函數和所述熵編碼對應的編碼碼率得到的。

8.如權利要求1所述的方法，其特征在于，所述方法還包括：

將輔助信息編碼后發送給所述服務器，以便于所述服務器解碼獲得所述輔助信息，并根據所述輔助信息對所述編碼后特征進行解碼；

其中，所述輔助信息包括以下至少一種：表示所述特征的類型的信息；表示所述參考特征的信息。