[發明專利]卷積神經網絡訓練及視頻處理方法、裝置和電子設備

有效

• 申請號: 201611073607.8
• 申請日: 2016-11-29
• 公開（公告）號: CN108122234B
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 羅方浩;石建萍
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/194;H04N21/44
• 代理公司: 北京康達聯禾知識產權代理事務所(普通合伙) 11461
• 代理人: 蘭淑鐸;劉潔

1.一種卷積神經網絡訓練方法，包括：

基于卷積神經網絡對包含有目標對象標注信息的原始樣本圖像以及經對所述原始樣本圖像進行加擾處理得到的加擾樣本圖像進行檢測，得到針對所述原始樣本圖像中目標對象的第一預測信息以及針對所述加擾樣本圖像中目標對象的第二預測信息；所述加擾樣本圖像包含所述目標對象標注信息；所述原始樣本圖像和所述加擾樣本圖像用于模擬視頻播放中相鄰或相距預設幀數的兩幀視頻幀圖像；

使用第一損失函數確定第一預測信息和原始樣本圖像中目標對象的標注信息之間的第一差異，其中，所述第一損失函數用于度量對原始樣本圖像中的目標對象預測結果的準確度；使用第二損失函數確定第一預測信息和第二預測信息之間的第二差異，其中，所述第二損失函數用于度量對原始樣本圖像中的目標對象預測結果和對加擾樣本圖像中的目標對象預測結果的差異；

根據所述第一差異和所述第二差異調整所述卷積神經網絡的網絡參數。

2.根據權利要求1所述的方法，其中，使用第二損失函數確定第一預測信息和第二預測信息之間的第二差異包括：

通過距離計算函數獲得所述第一預測信息和所述第二預測信息之間的距離，所述距離為所述第二差異。

3.根據權利要求1-2任一項所述的方法，其中，根據所述第一差異和所述第二差異調整所述卷積神經網絡的網絡參數，包括：

對所述第一差異和所述第二差異進行不同的加權處理；

根據加權處理后的第一差異和第二差異調整所述卷積神經網絡的網絡參數。

4.根據權利要求1-2任一項所述的方法，其中，所述卷積神經網絡包括多個卷積層，每一個卷積層之后設置有一個參數化糾正線性單元PReLU層。

5.根據權利要求1-2任一項所述的方法，其中，還包括：

對所述原始樣本圖像進行加擾處理，得到所述加擾樣本圖像。

6.一種視頻處理方法，包括：

獲取待檢測的視頻幀圖像；

采用如權利要求1-5任一所述的方法訓練而得的卷積神經網絡檢測所述視頻幀圖像中的目標對象。

7.根據權利要求6所述的方法，其中，所述方法還包括：

在所述視頻幀圖像中標示檢測出的目標對象。

8.根據權利要求6所述的方法，其中，所述方法還包括：

根據檢測出的目標對象，對所述視頻幀圖像進行前景區域和背景區域分割。

9.根據權利要求8所述的方法，其中，在對所述視頻幀圖像進行前景和背景分割之后，所述方法還包括：

對所述前景區域進行虛化處理；或者，

對所述背景區域進行虛化處理。

10.根據權利要求8或9所述的方法，其中，所述目標對象所在的區域為前景區域；或者，所述目標對象所在的區域為背景區域。

11.根據權利要求8-9任一項所述的方法，其中，在對所述視頻幀圖像進行前景和背景分割之后，所述方法還包括：

在所述背景區域使用計算機繪圖方式繪制待展示的業務對象；

或者，

在所述前景區域使用計算機繪圖方式繪制待展示的業務對象。

12.根據權利要求8-9任一項所述的方法，其中，在對所述視頻幀圖像進行前景和背景分割之后，所述方法還包括：

根據所述目標對象的類型，確定待展示的業務對象；

在所述前景區域使用計算機繪圖方式繪制確定的所述業務對象，或者，在所述背景區域使用計算機繪圖方式繪制確定的所述業務對象。

13.根據權利要求11所述的方法，其中，所述業務對象包括包含廣告信息的以下至少一種形式的特效：二維貼紙特效、三維特效、粒子特效。