[發明專利]基于感興趣區域變換的人體關鍵點檢測方法、裝置與系統

有效

• 申請號: 202110478213.5
• 申請日: 2021-04-30
• 公開（公告）號: CN113111850B
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 楊帆;郝強;潘鑫淼;胡建國
• 申請（專利權）人: 南京甄視智能科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/10;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京行高知識產權代理有限公司 32404
• 代理人: 王培松

1.一種基于感興趣區域變換的人體關鍵點檢測方法，其特征在于，包括以下步驟：

步驟1、獲取M張包含人體的彩色圖像，M為大于1000的自然數；

步驟2、對每張彩色圖像標注N個人體關鍵點，得到標注數據；其中，所述人體關鍵點包括臉部關鍵點以及肢體關鍵點，且臉部關鍵點數量多于肢體關鍵點；

步驟3、根據標注的人臉關鍵點的坐標確定彩色圖像的人臉邊界框；

步驟4、根據人臉中心點和人臉尺寸對每張彩色圖像及標注數據進行感興趣區域變換，得到變換后的圖像及變換后的人體關鍵點坐標；所述人臉中心點和人臉尺寸根據人臉邊界框確定；

步驟5、基于感興趣區域變換后的圖像及變換后的人體關鍵點坐標，訓練用于檢測人體關鍵點的人體關鍵點檢測模型；

步驟6、對于輸入的包含人體的待檢測圖像，使用人臉檢測器檢測出人臉邊界框，然后根據所述步驟4的方法對待檢測圖像進行感興趣區域變換，提升圖像中人臉的占比，得到變換后的圖像；

步驟7、使用步驟5訓練的人體關鍵點檢測模型檢測變換后的圖像中的人體關鍵點；以及

步驟8、將變換后的圖像中的人體關鍵點進行感興趣區域反變換，得到變換前待檢測圖像的人體關鍵點；

其中，所述步驟2中，對每張彩色圖像標注N個人體關鍵點，得到的標注數據表達為：

其中，為第m幅圖像的第n個關鍵點坐標，m＝0，1，2，...，M-1，n＝0，1，2，...，N-1；

其中，所述步驟4中，根據人臉中心點和人臉尺寸對每張彩色圖像及標注數據進行感興趣區域變換，得到變換后的圖像及變換后的關鍵點坐標，包括：

以人臉邊界框的中心點為人臉中心點，以邊界框長邊的長度為人臉尺寸，根據人臉中心點和尺寸，將圖像和對應的人體關鍵點進行感興趣區域變換，得到變換后的數據表達為：

{[I₀，(p_0，0，p_0，1，...，p_0，N-1)]，[I₁，(p_1，0，p_1，1，...，p_1，N-1)]，...，[I_M-1，(p_M-1，0，p_M-1，1，...，p_M-1，N-1)]}

其中p_m，n＝(x_m，n，y_m，n)為第m幅變換后的圖像I_m的第n個變換后的人體關鍵點坐標，變換后圖像的邊長為L，L為正整數；

變換后的圖像I_m中各像素值是從圖像中采樣得到的，x_{indices，m}為從圖像采樣的位置橫坐標列表，y_{indices，m}為從圖像采樣的位置縱坐標列表，其具體獲取方式如下：

x_{indices，m}＝(x_face，m+warp_RoI，m(0)，x_face，m+warp_RoI，m(1)，...，x_face，m+warp_RoI，m(L-1))

y_{indices，m}＝(y_face，m+warp_Rol，m(0)，y_face，m+warp_RoI，m(1)，...，y_face，m+warp_Rol，m(L-1))

warp_RoI，m(t)＝a_m/2·arctanh(2t/L-0.9)

其中，warp_ReI，m(t)為第m幅圖像的感興趣區域變換函數，t為函數輸入，t＝0，1，2，...，L-1；

其中，圖像感興趣區域變換采用opencv圖像處理庫中的remap方法，參數map1設置為x_indices，m，參數map2設置為y_{indices，m}；

感興趣區域變換后的人體關鍵點(x_m，n，y_m，n)通過遍歷的方法計算得到。