[發明專利]神經網絡訓練及圖像處理方法、裝置和電子設備

有效

• 申請號: 201710208527.7
• 申請日: 2017-03-31
• 公開（公告）號: CN108229276B
• 公開（公告）日: 2020-08-11
• 發明（設計）人: 王晉瑋;馬栩杰;錢晨
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京康達聯禾知識產權代理事務所(普通合伙) 11461
• 代理人: 蘭淑鐸;張雪飛

本發明提供了一種神經網絡訓練及圖像處理方法、裝置和電子設備。其中，神經網絡訓練方法包括：通過對包含有人臉特征點標注信息的原始樣本圖像至少進行信息保持加擾處理，獲得加擾樣本圖像以及信息保持加擾處理所處理的圖像信息；基于神經網絡對原始樣本圖像以及加擾樣本圖像進行檢測，得到針對原始樣本圖像中人臉特征點的第一預測信息以及針對加擾樣本圖像中人臉特征點的第二預測信息；確定第一預測信息和標注信息之間的第一差異、第一預測信息和第二預測信息之間的第二差異、以及第二差異與信息保持加擾處理所處理的圖像信息之間的第三差異；根據第一差異和第三差異調整神經網絡的網絡參數。通過本發明，可以大大提高人臉定位精準度。

技術領域

本發明實施例涉及人工智能技術領域，尤其涉及一種神經網絡訓練方法、裝置和電子設備，以及，一種圖像處理方法、裝置和電子設備。

背景技術

神經網絡是用于計算機視覺和模式識別的一個重要的研究領域，它通過計算機仿照生物大腦思維啟發進行類似人類對特定對象的信息處理。通過神經網絡，能夠有效地對圖像(包括靜態圖像和視頻圖像)中的對象進行檢測和識別。隨著互聯網技術的發展，信息量的急劇增加，神經網絡被越來越廣泛地應用于圖像檢測和識別領域，以從大量的信息中尋找出實際所需的信息。其中，人臉特征點定位就是神經網絡的一種重要應用。

當在某些電子設備，如移動終端中使用神經網絡進行人臉定位時，因移動終端自身硬件性能的局限或者神經網絡模型設置的原因，使得神經網絡模型的規模較小，人臉定位精度受限。尤其是在視頻圖像中，因卷積神經網絡模型規模受限，人臉定位精度不高，視頻播放時相鄰幀間抖動的情況會尤其嚴重。

發明內容

本發明實施例提供了一種卷積神經網絡訓練方案，以及，一種圖像處理方案。

根據本發明實施例的第一方面，提供了一種神經網絡訓練方法，包括：通過對包含有人臉特征點標注信息的原始樣本圖像至少進行信息保持加擾處理，獲得加擾樣本圖像以及信息保持加擾處理所處理的圖像信息；基于神經網絡對所述原始樣本圖像以及所述加擾樣本圖像進行檢測，得到針對所述原始樣本圖像中人臉特征點的第一預測信息以及針對所述加擾樣本圖像中人臉特征點的第二預測信息；確定所述第一預測信息和所述標注信息之間的第一差異、所述第一預測信息和所述第二預測信息之間的第二差異、以及所述第二差異與所述信息保持加擾處理所處理的圖像信息之間的第三差異；根據所述第一差異和所述第三差異調整所述神經網絡的網絡參數。

可選地，所述對包含有人臉特征點標注信息的原始樣本圖像至少進行信息保持加擾處理，包括：對包含有人臉特征點標注信息的原始樣本圖像進行信息保持加擾處理和信息非保持加擾處理。

可選地，確定所述第一預測信息和所述標注信息之間的第一差異包括：使用第一損失函數確定第一預測信息和原始樣本圖像中人臉特征點標注信息之間的第一差異，其中，所述第一損失函數用于度量對原始樣本圖像中的人臉特征點預測結果的準確度。

可選地，確定所述第一預測信息和所述第二預測信息之間的第二差異包括：使用第二損失函數確定第一預測信息和第二預測信息之間的第二差異；其中，所述第二損失函數用于度量對原始樣本圖像中的人臉特征點預測結果和對加擾樣本圖像中的人臉特征點預測結果的差異。

可選地，使用第二損失函數確定第一預測信息和第二預測信息之間的第二差異包括：通過第一距離計算函數獲得所述第一預測信息和所述第二預測信息之間的距離，所述距離為所述第二差異。

可選地，確定所述第二差異與所述信息保持加擾處理所處理的圖像信息之間的第三差異包括：通過第二距離計算函數，獲得所述第二差異與所述信息保持加擾處理所處理的圖像信息之間的距離，所述距離為所述第三差異。

可選地，所述信息保持加擾處理包括以下至少之一：仿射變換處理、平移處理、縮放處理、旋轉處理。

可選地，所述非保持加擾處理包括以下至少之一：逐像素增加噪聲處理、對比度調整處理。