[發(fā)明專利]基于感興趣區(qū)域變換的人體關(guān)鍵點(diǎn)檢測(cè)方法、裝置與系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110478213.5
• 申請(qǐng)日: 2021-04-30
• 公開（公告）號(hào): CN113111850B
• 公開（公告）日: 2022-08-16
• 發(fā)明（設(shè)計(jì)）人: 楊帆;郝強(qiáng);潘鑫淼;胡建國(guó)
• 申請(qǐng)（專利權(quán)）人: 南京甄視智能科技有限公司
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V40/10;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京行高知識(shí)產(chǎn)權(quán)代理有限公司 32404
• 代理人: 王培松

本發(fā)明提供一種基于感興趣區(qū)域變換的人體關(guān)鍵點(diǎn)檢測(cè)方法、裝置與系統(tǒng)，包括模型訓(xùn)練過(guò)程和模型檢測(cè)過(guò)程。模型訓(xùn)練過(guò)程中，對(duì)人體關(guān)鍵點(diǎn)數(shù)據(jù)進(jìn)行感興趣區(qū)域變換，并利用變換后的數(shù)據(jù)訓(xùn)練人體關(guān)鍵點(diǎn)模型的過(guò)程。模型檢測(cè)過(guò)程中，根據(jù)訓(xùn)練出的人體關(guān)鍵點(diǎn)模型進(jìn)行人體關(guān)鍵點(diǎn)檢測(cè)，并反變換得到變換前的圖像的人體關(guān)鍵點(diǎn)的過(guò)程。本發(fā)明通過(guò)有效地將數(shù)據(jù)標(biāo)準(zhǔn)化到統(tǒng)一的形態(tài)，克服了開放場(chǎng)景下數(shù)據(jù)變化大的問(wèn)題，降低了訓(xùn)練難度，同時(shí)通過(guò)感興趣區(qū)域變換能夠提高在圖像中的臉部占比，有助于臉部關(guān)鍵點(diǎn)的預(yù)測(cè)，進(jìn)而提升人體關(guān)鍵點(diǎn)整體精度。相比肢體、人臉關(guān)鍵點(diǎn)分開預(yù)測(cè)的方法來(lái)說(shuō)，本發(fā)明方法只需一個(gè)人臉檢測(cè)器和一個(gè)關(guān)鍵點(diǎn)檢測(cè)器，計(jì)算開銷小。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其是人臉檢測(cè)與識(shí)別，具體而言涉及基于感興趣區(qū)域變換的人體關(guān)鍵點(diǎn)檢測(cè)方法、裝置與系統(tǒng)。

背景技術(shù)

人體關(guān)鍵點(diǎn)檢測(cè)的任務(wù)是檢測(cè)人體圖像中臉部、肢體的關(guān)鍵點(diǎn)位置。非受控場(chǎng)景下的人體圖像數(shù)據(jù)變化較大，例如人群、著裝、姿態(tài)、遮擋以及背景環(huán)境差別較大，而且臉部占比小，給人體關(guān)鍵點(diǎn)檢測(cè)模型的訓(xùn)練帶來(lái)了難度。

現(xiàn)有的人體關(guān)鍵點(diǎn)檢測(cè)方法主要包括兩類，一類方法是先檢測(cè)圖像中的人體位置，截取出人體圖像，再檢測(cè)圖像中的關(guān)鍵點(diǎn)，但由于臉部在圖像中占比很小，導(dǎo)致臉部關(guān)鍵點(diǎn)預(yù)測(cè)不準(zhǔn)確，而臉部關(guān)鍵點(diǎn)的數(shù)量往往較多，肢體關(guān)鍵點(diǎn)數(shù)量較少，因此會(huì)影響整體的精度。

另一類方法是通過(guò)檢測(cè)人體和人臉位置的方式檢測(cè)出人體的關(guān)鍵點(diǎn)，具體做法是先截取出人體和人臉圖像，再分別檢測(cè)肢體和臉部關(guān)鍵點(diǎn)。這種方法雖然精度較高但需要多個(gè)模型預(yù)測(cè)，計(jì)算耗時(shí)。

發(fā)明內(nèi)容

本發(fā)明目的在于提供一種基于感興趣區(qū)域變換的人體關(guān)鍵點(diǎn)檢測(cè)方法、裝置與系統(tǒng)，以人臉為中心對(duì)圖像和標(biāo)注的關(guān)鍵點(diǎn)坐標(biāo)進(jìn)行感興趣區(qū)域變換，使用變換后的數(shù)據(jù)訓(xùn)練人體關(guān)鍵點(diǎn)檢測(cè)模型，提升人體關(guān)鍵點(diǎn)檢測(cè)模型精度。

為實(shí)現(xiàn)上述目的，本發(fā)明的第一方面提出一種基于感興趣區(qū)域變換的人體關(guān)鍵點(diǎn)檢測(cè)方法，包括以下步驟：

步驟1、獲取M張包含人體的彩色圖像，M為大于1000的自然數(shù)；

步驟2、對(duì)每張彩色圖像標(biāo)注N個(gè)人體關(guān)鍵點(diǎn)，得到標(biāo)注數(shù)據(jù)；其中，所述人體關(guān)鍵點(diǎn)包括臉部關(guān)鍵點(diǎn)以及肢體關(guān)鍵點(diǎn)，且臉部關(guān)鍵點(diǎn)數(shù)量多于肢體關(guān)鍵點(diǎn)；

步驟3、根據(jù)標(biāo)注的人臉關(guān)鍵點(diǎn)的坐標(biāo)確定彩色圖像的人臉邊界框；

步驟4、根據(jù)人臉中心點(diǎn)和人臉尺寸對(duì)每張彩色圖像及標(biāo)注數(shù)據(jù)進(jìn)行感興趣區(qū)域變換，得到變換后的圖像及變換后的人體關(guān)鍵點(diǎn)坐標(biāo)；所述人臉中心點(diǎn)和人臉尺寸根據(jù)人臉邊界框確定；

步驟5、基于感興趣區(qū)域變換后的圖像及變換后的人體關(guān)鍵點(diǎn)坐標(biāo)，訓(xùn)練用于檢測(cè)人體關(guān)鍵點(diǎn)的人體關(guān)鍵點(diǎn)檢測(cè)模型；

步驟6、對(duì)于輸入的包含人體的待檢測(cè)圖像，使用人臉檢測(cè)器檢測(cè)出人臉邊界框，然后根據(jù)所述步驟4的方法進(jìn)行感興趣區(qū)域變換，提升圖像中人臉的占比，得到變換后的圖像；

步驟7、使用步驟5訓(xùn)練獲得的人體關(guān)鍵點(diǎn)檢測(cè)模型檢測(cè)變換后的圖像中的人體關(guān)鍵點(diǎn)；以及

步驟8、將變換后的圖像中的人體關(guān)鍵點(diǎn)進(jìn)行感興趣區(qū)域反變換，得到變換前待檢測(cè)圖像的人體關(guān)鍵點(diǎn)。

本發(fā)明的第二方面還提出一種基于感興趣區(qū)域變換的人體關(guān)鍵點(diǎn)檢測(cè)裝置，包括：

用于獲取M張包含人體的彩色圖像的模塊，M為大于1000的自然數(shù)；

用于對(duì)每張彩色圖像標(biāo)注N個(gè)人體關(guān)鍵點(diǎn)，得到標(biāo)注數(shù)據(jù)的模塊；其中，所述人體關(guān)鍵點(diǎn)包括臉部關(guān)鍵點(diǎn)以及肢體關(guān)鍵點(diǎn)，且臉部關(guān)鍵點(diǎn)數(shù)量多于肢體關(guān)鍵點(diǎn)；

用于根據(jù)標(biāo)注的人臉關(guān)鍵點(diǎn)的坐標(biāo)確定彩色圖像的人臉邊界框的模塊；