[發明專利]關鍵點預測、網絡訓練、圖像處理方法、裝置及電子設備

有效

• 申請號: 201611261431.9
• 申請日: 2016-12-30
• 公開（公告）號: CN108229489B
• 公開（公告）日: 2020-08-11
• 發明（設計）人: 劉宇;閆俊杰
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/04
• 代理公司: 北京康達聯禾知識產權代理事務所(普通合伙) 11461
• 代理人: 羅延紅;姚遠達

本發明實施例提供了一種關鍵點預測、網絡訓練、圖像處理方法、裝置及電子設備，其中，所述關鍵點預測方法包括：采用第一卷積神經網絡檢測圖像，獲得所述圖像的特征信息；所述第一卷積神經網絡為使用含有通用物體的關鍵點標注信息的樣本圖像訓練得到的卷積神經網絡；采用所述第一卷積神經網絡根據所述特征信息預測所述圖像的通用物體的關鍵點，獲得所述圖像的通用物體的關鍵點預測結果，關鍵點預測結果包括關鍵點位置預測信息和關鍵點存在預測信息。本發明實施例中通過第一卷積神經網絡擴大了物體類別的關鍵點預測范圍，實現了結合通用物體的關鍵點位置預測信息和關鍵點存在預測信息綜合判斷圖像中的通用物體的關鍵點。

技術領域

本發明實施例涉及人工智能技術領域，尤其涉及一種關鍵點預測、網絡訓練、圖像處理方法、裝置及電子設備。

背景技術

通用物體的關鍵點預測指對于自然場景中的通用物體(如人體、交通工具、動植物、家具等物體)的關鍵點(如人的頭部、手部、軀干位置；車輛的前窗、輪胎、底盤、后箱位置等)進行預測。通用物體的關鍵點可用于增強通用物體檢測和場景分割等應用的效果。

但是，目前除了對于特定物體如人臉、人體的關鍵點進行預測外，并沒有對于大規模通用物體的關鍵點進行預測的技術手段。

發明內容

本發明實施例提供了一種關鍵點預測、網絡訓練、圖像處理方法、裝置及電子設備。

根據本發明實施例的第一方面，提供了一種關鍵點預測方法，包括：采用第一卷積神經網絡檢測圖像，獲得所述圖像的特征信息；所述第一卷積神經網絡為使用含有通用物體的關鍵點標注信息的樣本圖像訓練得到的卷積神經網絡；采用所述第一卷積神經網絡根據所述特征信息預測所述圖像的通用物體的關鍵點，獲得所述圖像的通用物體的關鍵點預測結果，所述關鍵點預測結果包括關鍵點位置預測信息和關鍵點存在預測信息。

可選地，所述第一卷積神經網絡至少包括特征提取層、第一關鍵點預測卷積層和第二關鍵點預測卷積層，所述第一關鍵點預測卷積層和所述第二關鍵點預測卷積層分別與所述特征提取層連接，其中，所述特征提取層用于提取所述圖像的特征信息；所述第一關鍵點預測卷積層用于對所述特征信息進行卷積操作，得到所述關鍵點位置預測信息；所述第二關鍵點預測卷積層用于對所述特征信息進行卷積操作，得到所述關鍵點存在預測信息。

可選地，所述第一關鍵點預測卷積層的卷積核為1*1*2N，第二關鍵點預測卷積層的卷積核為1*1*N，其中，N為待預測的關鍵點的總數量。

可選地，所述第一卷積神經網絡為全卷積神經網絡。

可選地，所述第一卷積神經網絡的訓練，包括：獲取所述樣本圖像，所述關鍵點標注信息包括關鍵點位置標注信息和關鍵點存在標注信息；使用所述樣本圖像訓練第一卷積神經網絡，獲得所述第一卷積神經網絡針對所述樣本圖像的通用物體的關鍵點位置預測信息和關鍵點存在預測信息；根據目標函數對關鍵點位置預測信息和關鍵點存在預測信息進行監督，判斷所述第一卷積神經網絡的迭代損失率是否滿足設定條件；若滿足，則完成對所述第一卷積神經網絡的訓練。

可選地，所述第一卷積神經網絡的訓練，還包括：若不滿足，則根據獲得的關鍵點位置預測信息和關鍵點存在預測信息調整所述第一卷積神經網絡的參數，直至所述迭代損失率滿足所述設定條件。

可選地，所述根據目標函數對關鍵點位置預測信息和關鍵點存在預測信息進行監督，包括：根據回歸目標函數對關鍵點位置預測信息進行監督，同時，根據分類目標函數對關鍵點存在預測信息進行監督。