[發明專利]一種基于多分辨率特征融合的目標關鍵點檢測方法

有效

• 申請號: 202011509933.5
• 申請日: 2020-12-19
• 公開（公告）號: CN112580721B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 何寧;張聰聰
• 申請（專利權）人: 北京聯合大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/80;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

1.一種基于多分辨率特征融合的目標關鍵點檢測方法，其特征在于：分為特征提取、多分辨率特征融合、分辨率調整；特征提取使用骨架網絡ResNet網絡提取圖像特征；多分辨率特征融合對提取的特征圖重復上下采樣，將分辨率為192×144、96×72、48×36的特征圖進行融合；分辨率調整對融合模塊得到的特征圖與從低分辨率特征中上采樣得到的特征圖進行拼接；最后輸出姿態熱圖估計結果；該方法將主干網絡提取出的不同分辨率的特征，進行多次融合，構建了目標關鍵點檢測方法，對任何大小的圖片，進行單目標關鍵點檢測。

2.根據權利要求1所述的一種基于多分辨率特征融合的目標關鍵點檢測方法，其特征在于：包括以下步驟：

步驟1：輸入已裁剪好的單目標圖片到目標關鍵點檢測模型中；

步驟2：將單目標圖片的分辨率調整為當前網絡設定的分辨率；

步驟3：對輸入的單目標圖片使用ResNet網絡提取圖像特征，分別得到分辨率為96×128,48×64,24×32,12×16,6×8的特征圖，將這五個分辨率大小不同的特征圖取名為:2×down,4×down,8×down,16×down，32×down；

步驟4：將ResNet特征提取網絡提取的2×down,4×down,8×down,16×down四個特征圖進行多分辨率特征融合；

步驟5：將多分辨率特征融合模塊最終輸出的特征圖的分辨率大小調整為和4×down分辨率大小相同；

步驟6：經過分辨率大小調整后將4×down特征圖的通道數調整為目標關鍵點數，并作為網絡的輸出；

在訓練的過程中使用自適應時刻估計方法迭代的方式對網絡進行優化；用到的損失函數為均方差損失函數：

其中，m為關鍵點的個數，y_i為標注的ground_truth關鍵點的坐標，為模型預測的關鍵點的坐標，n為訓練樣本個數，i為當前的關鍵點。

3.根據權利要求2所述的一種基于多分辨率特征融合的目標關鍵點檢測方法，其特征在于：步驟4中，步驟4-1：融合分為三部分，首先分別將4×down和8×down下采樣兩次和一次，然后與16×down進行拼接，得到新的16×down；步驟4-2：將4×down下采樣一次，將16×down上采樣一次，然后與8×down進行拼接，得到新的8×down；步驟4-3：分別將8×down和16×down上采樣一次和兩次，然后與4×down進行拼接，得到新的4×down。

4.根據權利要求2所述的一種基于多分辨率特征融合的目標關鍵點檢測方法，其特征在于：步驟5中，步驟5-1：將32×down上采樣一次，與16×down進行拼接，得到新的16×down；步驟5-2：將16×down上采樣一次，與8×down進行拼接，得到新的8×down；步驟5-3：將8×down上采樣一次，與4×down進行拼接，得到新的4×down。