[發明專利]關鍵點預測、網絡訓練、圖像處理方法、裝置及電子設備

有效

• 申請號: 201611261431.9
• 申請日: 2016-12-30
• 公開（公告）號: CN108229489B
• 公開（公告）日: 2020-08-11
• 發明（設計）人: 劉宇;閆俊杰
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/04
• 代理公司: 北京康達聯禾知識產權代理事務所(普通合伙) 11461
• 代理人: 羅延紅;姚遠達

1.一種關鍵點預測方法，其特征在于，包括：

采用第一卷積神經網絡檢測圖像，獲得所述圖像的特征信息；所述第一卷積神經網絡為使用含有通用物體的關鍵點標注信息的樣本圖像訓練得到的卷積神經網絡；

采用所述第一卷積神經網絡根據所述特征信息預測所述圖像的通用物體的關鍵點，獲得所述圖像的通用物體的關鍵點預測結果，所述關鍵點預測結果包括關鍵點位置預測信息和關鍵點存在預測信息，

其中，所述第一卷積神經網絡至少包括特征提取層、第一關鍵點預測卷積層和第二關鍵點預測卷積層，所述第一關鍵點預測卷積層和所述第二關鍵點預測卷積層分別與所述特征提取層連接，

所述特征提取層用于提取所述圖像的特征信息；

所述第一關鍵點預測卷積層用于對所述特征信息進行卷積操作，得到所述關鍵點位置預測信息，所述第一關鍵點預測卷積層的卷積核為1*1*2N，N為待預測的關鍵點的總數量；

所述第二關鍵點預測卷積層用于對所述特征信息進行卷積操作，得到所述關鍵點存在預測信息，所述第二關鍵點預測卷積層的卷積核為1*1*N。

2.根據權利要求1所述的方法，其特征在于，所述第一卷積神經網絡為全卷積神經網絡。

3.根據權利要求1-2任一所述的方法，其特征在于，所述第一卷積神經網絡的訓練，包括：

獲取所述樣本圖像，所述關鍵點標注信息包括關鍵點位置標注信息和關鍵點存在標注信息；

使用所述樣本圖像訓練第一卷積神經網絡，獲得所述第一卷積神經網絡針對所述樣本圖像的通用物體的關鍵點位置預測信息和關鍵點存在預測信息；

根據目標函數對關鍵點位置預測信息和關鍵點存在預測信息進行監督，判斷所述第一卷積神經網絡的迭代損失率是否滿足設定條件；

若滿足，則完成對所述第一卷積神經網絡的訓練。

4.根據權利要求3所述的方法，其特征在于，所述第一卷積神經網絡的訓練，還包括：

若不滿足，則根據獲得的關鍵點位置預測信息和關鍵點存在預測信息調整所述第一卷積神經網絡的參數，直至所述迭代損失率滿足所述設定條件。

5.根據權利要求3所述的方法，其特征在于，所述根據目標函數對關鍵點位置預測信息和關鍵點存在預測信息進行監督，包括：

根據回歸目標函數對關鍵點位置預測信息進行監督，同時，根據分類目標函數對關鍵點存在預測信息進行監督。

6.一種關鍵點預測網絡訓練方法，其特征在于，包括：

獲取含有通用物體的關鍵點標注信息的樣本圖像，其中，所述關鍵點標注信息包括關鍵點位置標注信息和關鍵點存在標注信息；

使用所述樣本圖像訓練第一卷積神經網絡，獲得所述第一卷積神經網絡針對所述樣本圖像的通用物體的關鍵點位置預測信息和關鍵點存在預測信息；

根據目標函數對關鍵點位置預測信息和關鍵點存在預測信息進行監督，判斷所述第一卷積神經網絡的迭代損失率是否滿足設定條件；

若滿足，則完成對所述第一卷積神經網絡的訓練，

其中，所述第一卷積神經網絡至少包括特征提取層、第一關鍵點預測卷積層和第二關鍵點預測卷積層，所述第一關鍵點預測卷積層和所述第二關鍵點預測卷積層分別與所述特征提取層連接；

所述特征提取層用于提取所述樣本圖像的特征信息；

所述第一關鍵點預測卷積層用于對所述特征信息進行卷積操作，得到所述關鍵點位置預測信息，所述第一關鍵點預測卷積層的卷積核為1*1*2N，N為待預測的關鍵點的總數量；

所述第二關鍵點預測卷積層用于對所述特征信息進行卷積操作，得到所述關鍵點存在預測信息，所述第二關鍵點預測卷積層的卷積核為1*1*N。

7.根據權利要求6所述的方法，其特征在于，還包括：

若不滿足，則根據獲得的關鍵點位置預測信息和關鍵點存在預測信息調整所述第一卷積神經網絡的參數，直至所述迭代損失率滿足所述設定條件。