[發明專利]卷積神經網絡訓練及視頻處理方法、裝置和電子設備

有效

• 申請號: 201611073607.8
• 申請日: 2016-11-29
• 公開（公告）號: CN108122234B
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 羅方浩;石建萍
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/194;H04N21/44
• 代理公司: 北京康達聯禾知識產權代理事務所(普通合伙) 11461
• 代理人: 蘭淑鐸;劉潔

本發明實施例提供了一種卷積神經網絡訓練及視頻處理方法、裝置和電子設備，其中，卷積神經網絡訓練方法包括：基于卷積神經網絡對包含有目標對象標注信息的原始樣本圖像以及與所述原始樣本圖像對應的加擾樣本圖像進行檢測，得到針對所述原始樣本圖像中目標對象的第一預測信息以及針對所述加擾樣本圖像中目標對象的第二預測信息；確定所述第一預測信息和所述標注信息之間的第一差異、以及所述第一預測信息和所述第二預測信息之間的第二差異；根據所述第一差異和所述第二差異調整所述卷積神經網絡的網絡參數。本發明實施例有效降低了檢測過程中視頻幀圖像的幀間抖動。

技術領域

本發明實施例涉及人工智能技術領域，尤其涉及一種卷積神經網絡訓練方法、裝置和電子設備，以及，一種視頻處理方法、裝置和電子設備。

背景技術

卷積神經網絡是用于計算機視覺和模式識別的一個重要的研究領域，它通過計算機仿照生物大腦思維啟發進行類似人類對特定對象的信息處理。通過卷積神經網絡，能夠有效地對圖像(包括靜態圖像和視頻圖像)中的對象進行檢測和識別。隨著互聯網技術的發展，信息量的急劇增加，卷積神經網絡被越來越廣泛地應用于圖像檢測和識別領域，以從大量的信息中尋找出實際所需的信息。

當在某些電子設備，如移動終端中使用卷積神經網絡進行圖像檢測和識別時，因移動終端自身硬件性能的局限或者卷積神經網絡模型設置的原因，使得卷積神經網絡模型的規模較小，圖像檢測和識別精度受限。尤其是在視頻圖像中，因卷積神經網絡模型規模受限，檢測和識別精度不高，視頻播放時幀間抖動的情況會尤其嚴重。

發明內容

本發明實施例提供了一種卷積神經網絡訓練方案，以及，一種視頻處理方案。

根據本發明實施例的一個方面，提供了一種卷積神經網絡訓練方法，包括：基于卷積神經網絡對包含有目標對象標注信息的原始樣本圖像以及與所述原始樣本圖像對應的加擾樣本圖像進行檢測，得到針對所述原始樣本圖像中目標對象的第一預測信息以及針對所述加擾樣本圖像中目標對象的第二預測信息；確定所述第一預測信息和所述標注信息之間的第一差異、以及所述第一預測信息和所述第二預測信息之間的第二差異；根據所述第一差異和所述第二差異調整所述卷積神經網絡的網絡參數。

可選地，結合本發明實施例提供的任一種卷積神經網絡訓練方法，確定所述第一預測信息和所述標注信息之間的第一差異包括：使用第一損失函數確定第一預測信息和原始樣本圖像中目標對象的標注信息之間的第一差異，其中，所述第一損失函數用于度量對原始樣本圖像中的目標對象預測結果的準確度。

可選地，結合本發明實施例提供的任一種卷積神經網絡訓練方法，確定所述第一預測信息和所述第二預測信息之間的第二差異包括：使用第二損失函數確定第一預測信息和第二預測信息之間的第二差異；其中，所述第二損失函數用于度量對原始樣本圖像中的目標對象預測結果和對加擾樣本圖像中的目標對象預測結果的差異。

可選地，結合本發明實施例提供的任一種卷積神經網絡訓練方法，使用第二損失函數確定第一預測信息和第二預測信息之間的第二差異包括：通過距離計算函數獲得所述第一預測信息和所述第二預測信息之間的距離，所述距離為所述第二差異。

可選地，結合本發明實施例提供的任一種卷積神經網絡訓練方法，根據所述第一差異和所述第二差異調整所述卷積神經網絡的網絡參數包括：分別對所述第一差異和所述第二差異進行不同的加權處理；根據加權處理后的第一差異和第二差異調整所述卷積神經網絡的網絡參數。

可選地，結合本發明實施例提供的任一種卷積神經網絡訓練方法，在所述卷積神經網絡包括多個卷積層，每一個卷積層之后設置有一個參數化糾正線性單元PReLU層。

可選地，結合本發明實施例提供的任一種卷積神經網絡訓練方法，所述訓練方法還包括：對所述原始樣本圖像進行加擾處理，得到所述加擾樣本圖像。