[發明專利]關鍵點確定方法、裝置、電子設備及計算機可讀存儲介質

在審

• 申請號: 202210096081.4
• 申請日: 2022-01-26
• 公開（公告）號: CN116563568A
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 李淵;趙晨晨
• 申請（專利權）人: 武漢TCL集團工業研究院有限公司
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 深圳紫藤知識產權代理有限公司 44570
• 代理人: 郭科兵

1.一種關鍵點確定方法，其特征在于，包括：

獲取待處理圖像；

將所述待處理圖像輸入至訓練后的融合網絡中的回歸網絡，得到所述待處理圖像的關鍵點信息；其中，所述融合網絡包括回歸網絡和熱力圖網絡，所述回歸網絡的輸出端與所述熱力圖網絡的輸入端連接。

2.根據權利要求1所述的關鍵點確定方法，其特征在于，還包括：

獲取圖像訓練集和待訓練的融合網絡，所述待訓練的融合網絡包括預訓練后的回歸網絡和預訓練后的熱力圖網絡，所述預訓練后的回歸網絡的輸出端與所述預訓練后的熱力圖網絡的輸入端連接；

將所述圖像訓練集中的圖像輸入至所述預訓練后的回歸網絡，得到所述圖像的第一關鍵點信息；

將所述第一關鍵點信息輸入至所述預訓練后的熱力圖網絡，得到第一熱力圖；

根據所述第一熱力圖調整所述預訓練后的回歸網絡的網絡參數，得到訓練后的融合網絡。

3.根據權利要求2所述的關鍵點確定方法，其特征在于，所述獲取圖像訓練集和待訓練的融合網絡，所述待訓練的融合網絡包括預訓練后的回歸網絡和預訓練后的熱力圖網絡，所述預訓練后的回歸網絡的輸出端與所述預訓練后的熱力圖網絡的輸入端連接的步驟，包括：

獲取圖像訓練集、所述圖像訓練集中各圖像的參考關鍵點信息、初始回歸網絡、初始回歸損失函數以及初始回歸網絡參數；

將所述圖像訓練集中的圖像輸入至所述初始回歸網絡，得到初始關鍵點信息；

根據所述初始關鍵點信息和所述參考關鍵點信息，確定所述初始回歸損失函數的函數值，并根據所述初始回歸損失函數的函數值更新所述初始回歸網絡參數；

若所述初始回歸損失函數的函數值滿足預設閾值范圍，停止網絡訓練，得到預訓練后的回歸網絡。

4.根據權利要求3所述的關鍵點確定方法，其特征在于，所述獲取圖像訓練集、所述圖像訓練集中各圖像的參考關鍵點信息的步驟，包括：

獲取圖像訓練集；

標注所述圖像訓練集中各圖像的關鍵點的位置；

根據所述關鍵點的位置，確定所述圖像訓練集中各圖像的參考關鍵點信息。

5.根據權利要求2所述的關鍵點確定方法，其特征在于，所述獲取圖像訓練集和待訓練的融合網絡，所述待訓練的融合網絡包括預訓練后的回歸網絡和預訓練后的熱力圖網絡，所述預訓練后的回歸網絡的輸出端與所述預訓練后的熱力圖網絡的輸入端連接的步驟，包括：

獲取圖像訓練集、初始熱力圖網絡以及初始熱力網絡參數；

根據所述圖像訓練集確定所述圖像訓練集中各圖像對應的熱力訓練集，所述熱力訓練集包括至少一個參考關鍵點信息；

將所述熱力訓練集中的參考關鍵點信息輸入至所述初始熱力圖網絡，得到初始熱力圖；

根據所述初始熱力圖更新所述初始熱力圖網絡的初始熱力網絡參數，得到預訓練后的熱力圖網絡。

6.根據權利要求5所述的關鍵點確定方法，其特征在于，所述根據所述圖像訓練集確定所述圖像訓練集中各圖像對應的熱力訓練集，所述熱力訓練集包括至少一個參考關鍵點信息的步驟，包括：

標注所述圖像訓練集中各圖像的關鍵點的位置；

根據所述關鍵點的位置，確定所述圖像訓練集中各圖像的參考關鍵點信息；

根據所述圖像訓練集中各圖像的參考關鍵點信息，確定所述圖像訓練集中各圖像對應的熱力訓練集。

7.根據權利要求5所述的關鍵點確定方法，其特征在于，所述根據所述初始熱力圖更新所述初始熱力圖網絡的初始熱力網絡參數，得到預訓練后的熱力圖網絡的步驟，包括：

獲取初始熱力損失函數；

對所述初始熱力圖進行后處理，得到所述初始熱力圖的初始峰值坐標信息，所述后處理包括二值化處理和閾值計算處理；

根據所述熱力訓練集中的參考關鍵點信息和所述初始熱力圖的初始峰值坐標信息，確定所述初始熱力損失函數的函數值，并根據所述初始熱力損失函數的函數值更新所述初始熱力網絡參數；

若所述初始熱力損失函數的函數值滿足預設閾值范圍，停止網絡訓練，得到預訓練后的熱力圖網絡。