[發明專利]視頻處理方法及相關裝置，圖像處理方法及相關裝置

有效

• 申請號: 201910848859.0
• 申請日: 2018-04-12
• 公開（公告）號: CN110472622B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 張凱皓;羅文寒;馬林;劉威
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/20;G06V10/74;G06V10/774;G06V10/80;G06K9/62
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王兆林

1.一種視頻處理方法，其特征在于，所述方法應用于視頻處理設備，所述方法包括：

獲取待處理視頻，所述待處理視頻中的視頻幀包括身份待識別的對象；

根據所述待處理視頻生成第一步態能量圖；

獲取身份已知的對象的視頻的第二步態能量圖；所述第一步態能量圖和第二步態能量圖分別對應唯一的標識；

將所述第一步態能量圖和第二步態能量圖輸入深度神經網絡，進行第一步態識別；

其中，所述第一步態識別包括：

提取所述第一、第二步態能量圖對應的身份信息，以及，所述第一步態能量圖和第二步態能量圖的融合步態特征向量；至少根據提取的融合步態特征向量計算所述第一、第二步態能量圖的相似度；

所述第一步態能量圖的身份信息包括所述第一步態能量圖的標識和所述第一步態能量圖的步態特征向量，所述第二步態能量圖的身份信息包括所述第二步態能量圖的標識和所述第二步態能量圖的步態特征向量；所述融合步態特征向量由所述第一步態能量圖和第二步態能量圖的步態特征向量決定；

所述深度神經網絡在訓練過程中根據身份信息和融合步態特征向量進行了濾波器參數調整；所述訓練過程的訓練目標包括：從同一對象的不同步態能量圖中提取的步態特征向量相似，從不同對象的步態能量圖中提取的步態特征向量相遠離；所述訓練過程中使用的每一訓練樣本包括n個訓練子樣本，任一所述訓練子樣本包括兩幅身份已知的對象的步態能量圖，所述n為正整數；

所述深度神經網絡的訓練過程包括：

使用所述深度神經網絡對所述訓練樣本中的每一訓練子樣本執行第二步態識別；其中，所述第二步態識別包括：提取所述訓練子樣本中兩幅步態能量圖各自的身份信息以及所述兩幅步態能量圖的融合步態特征向量，并至少根據提取的融合步態特征向量計算所述兩幅步態能量圖的相似度；

根據在所述第二步態識別中提取的身份信息，使用身份信息損失函數計算所述訓練樣本的身份損失值；所述身份損失值越小，表征從同一對象不同步態能量圖中提取的步態特征向量越相似，而從不同對象的步態能量圖中提取的步態特征向量越遠離；

使用融合步態特征向量損失函數計算所述訓練樣本的融合損失值；

對所述融合損失值和身份損失值求加權和，得到所述訓練樣本的最終損失值；

根據至少一個訓練樣本的最終損失值調整所述深度神經網絡的濾波器參數。

2.如權利要求1所述的方法，其特征在于，

所述n＝3，所述訓練樣本包括第一至第三訓練子樣本，所述第一至第三訓練子樣本的組合方式包括：

第一組合方式：所述第一訓練子樣本中的兩幅步態能量圖對應同一對象；所述第二訓練子樣本中的兩幅步態能量圖對應不同的對象；所述第三訓練子樣本中的兩幅步態能量圖對應不同的對象；

或者，

第二組合方式：所述第一訓練子樣本中的兩幅步態能量圖對應同一對象；所述第二訓練子樣本的兩幅步態能量圖對應所述同一對象；所述第三訓練子樣本中的兩幅步態能量圖對應不同的對象。

3.如權利要求2所述的方法，其特征在于，當所述第一至第三訓練子樣本為所述第一種組合方式時，所述身份信息損失函數包括：

其中，Lu表示身份損失值，η表示系數，表示歐氏距離；

p、g、p′、g′、p″和g″表示步態能量圖的標識，Xp和Xg表示第一訓練子樣本中的一對步態能量圖，Xp′和Xg′表示第二訓練子樣本中的一對步態能量圖，Xp″和Xg″表示第三訓練子樣本的一對步態能量圖，并且，Xp與Xp′對應同一對象，Xp與Xp″對應不同對象；

U(Xp)至U(Xg″)表示各步態能量圖的步態特征向量。

4.如權利要求2所述的方法，其特征在于，當所述第一至第三訓練子樣本為所述第二種組合方式時，所述身份信息損失函數包括：

其中，Lu表示身份損失值，η表示系數，表示歐氏距離；

p、g、p′、g′、p″和g″表示步態能量圖的標識，Xp和Xg表示第一訓練子樣本中的一對步態能量圖，Xp′和Xg′表示第二訓練子樣本中的一對步態能量圖，Xp″和Xg″表示第三訓練子樣本的一對步態能量圖，并且，Xp與Xp′對應同一對象，Xp與Xp″對應不同對象；

U(Xp)至U(Xg″)表示各步態能量圖的步態特征向量。