[發(fā)明專利]一種人體關(guān)鍵點(diǎn)與人體掩碼聯(lián)合檢測網(wǎng)絡(luò)及方法

有效

• 申請?zhí)枺?/td>: 202011640869.4
• 申請日: 2020-12-31
• 公開（公告）號(hào): CN112668522B
• 公開（公告）日: 2023-06-20
• 發(fā)明（設(shè)計(jì)）人: 秦華標(biāo);黃仕鑫
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V10/40;G06V10/82;G06N3/0464
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 何淑珍;江裕強(qiáng)

1.一種人體關(guān)鍵點(diǎn)與人體掩碼聯(lián)合檢測方法，其特征在于，包括以下步驟：

將包含至少一個(gè)人體的圖像輸入骨干網(wǎng)絡(luò)模塊，所述骨干網(wǎng)絡(luò)模塊對所述包含人體的圖像提取特征，輸出至少2個(gè)不同尺寸的特征圖；

關(guān)鍵點(diǎn)檢測模塊根據(jù)所述特征圖生成人體關(guān)鍵點(diǎn)熱力圖，特征聚合模塊將不同尺寸的特征圖進(jìn)行聚合，輸出至少2個(gè)不同尺寸的特征圖；

關(guān)鍵點(diǎn)后處理模塊根據(jù)人體關(guān)鍵點(diǎn)熱力圖生成每個(gè)關(guān)鍵點(diǎn)的坐標(biāo)，熱力圖特征提取模塊對人體關(guān)鍵點(diǎn)熱力圖進(jìn)行提取特征，輸出熱力圖的特征圖；

將特征聚合模塊輸出的特征圖和熱力圖特征提取模塊輸出的熱力圖的特征圖通過拼接模塊進(jìn)行拼接，得到拼接特征圖；

將拼接特征圖送入掩碼檢測模塊，生成人體掩碼概率圖；

掩碼后處理模塊根據(jù)人體掩碼概率圖生成人體掩碼；

所述特征聚合模塊將不同尺寸的特征圖進(jìn)行聚合，輸出至少2個(gè)不同尺寸的特征圖，具體包括：將骨干網(wǎng)絡(luò)中輸出的特征圖進(jìn)行排列，形成特征圖隊(duì)列，將隊(duì)列中的前一個(gè)特征圖經(jīng)過上采樣與特征提取以后的結(jié)果與后一個(gè)特征圖相加或按通道拼接得到新的特征圖，再將新的特征圖經(jīng)過上采樣與特征提取以后的結(jié)果與下一個(gè)特征圖相加或按通道拼接，依此類推，最終得到至少2個(gè)不同尺寸的特征圖；

所述關(guān)鍵點(diǎn)后處理模塊根據(jù)人體關(guān)鍵點(diǎn)熱力圖生成每個(gè)關(guān)鍵點(diǎn)的坐標(biāo)，包括：關(guān)鍵點(diǎn)后處理模塊將每個(gè)人體關(guān)鍵點(diǎn)熱力圖作為輸入，依次選取每個(gè)關(guān)鍵點(diǎn)熱力圖中像素值最大的位置作為該關(guān)鍵點(diǎn)的位置，將該位置映射回原始圖像，得到該人體關(guān)鍵點(diǎn)在原始圖像中的坐標(biāo)。

2.根據(jù)權(quán)利要求1所述的一種人體關(guān)鍵點(diǎn)與人體掩碼聯(lián)合檢測方法，其特征在于，所述關(guān)鍵點(diǎn)檢測模塊根據(jù)所述特征圖生成人體關(guān)鍵點(diǎn)熱力圖，具體包括：特征圖在關(guān)鍵點(diǎn)檢測模塊中經(jīng)過特征提取和上采樣后輸出人體每個(gè)關(guān)鍵點(diǎn)的熱力圖。

3.根據(jù)權(quán)利要求1所述的一種人體關(guān)鍵點(diǎn)與人體掩碼聯(lián)合檢測方法，其特征在于，所述關(guān)鍵點(diǎn)檢測模塊根據(jù)所述特征圖生成人體關(guān)鍵點(diǎn)熱力圖中，所述特征圖為將骨干網(wǎng)絡(luò)模塊輸出的所有特征圖中尺寸最小的特征圖。

4.根據(jù)權(quán)利要求1所述的一種人體關(guān)鍵點(diǎn)與人體掩碼聯(lián)合檢測方法，其特征在于，所述將特征聚合模塊輸出的特征圖和熱力圖特征提取模塊輸出的熱力圖的特征圖進(jìn)行拼接，得到拼接特征圖中，將特征聚合模塊輸出的特征圖中尺寸最大的特征圖和熱力圖特征提取模塊輸出的熱力圖的特征圖按通道維度進(jìn)行拼接，得到拼接特征圖。

5.根據(jù)權(quán)利要求1所述的一種人體關(guān)鍵點(diǎn)與人體掩碼聯(lián)合檢測方法，其特征在于，所述將拼接特征圖送入掩碼檢測模塊，生成人體掩碼概率圖中，掩碼檢測模塊對拼接特征圖進(jìn)行特征提取和上采樣后輸出單通道的人體掩碼概率圖。

6.根據(jù)權(quán)利要求1-5任一所述的一種人體關(guān)鍵點(diǎn)與人體掩碼聯(lián)合檢測方法，其特征在于，所述掩碼后處理模塊根據(jù)人體掩碼概率圖生成人體掩碼，具體包括：掩碼后處理模塊對掩碼概率圖進(jìn)行閾值二值化操作，生成人體掩碼圖。

7.根據(jù)權(quán)利要求6所述的一種人體關(guān)鍵點(diǎn)與人體掩碼聯(lián)合檢測方法，其特征在于，所述對掩碼概率圖進(jìn)行閾值二值化操作，生成人體掩碼圖，包括：將掩碼概率圖中數(shù)值大于設(shè)定閾值的位置設(shè)為1，其他位置設(shè)為0，得到人體掩碼。

8.一種實(shí)現(xiàn)權(quán)利要求1-7任一項(xiàng)所述檢測方法的人體關(guān)鍵點(diǎn)與人體掩碼聯(lián)合檢測網(wǎng)絡(luò)，其特征在于，包括：

骨干網(wǎng)絡(luò)模塊，用于對包含人體的輸入圖像進(jìn)行特征提取，輸出不同尺寸的多個(gè)特征圖；

特征聚合模塊，用于將骨干網(wǎng)絡(luò)模塊輸出的不同尺寸的特征圖進(jìn)行聚合；

關(guān)鍵點(diǎn)檢測模塊，用于根據(jù)骨干網(wǎng)絡(luò)模塊輸出的特征圖生成人體關(guān)鍵點(diǎn)熱力圖；

熱力圖特征提取模塊，用于對關(guān)鍵點(diǎn)檢測模塊輸出的人體關(guān)鍵點(diǎn)熱力圖進(jìn)行特征提取后輸出人體關(guān)鍵點(diǎn)熱力圖的特征圖；

拼接模塊，用于將特征聚合模塊聚合后得到的特征圖和熱力圖特征提取模塊得到的人體關(guān)鍵點(diǎn)熱力圖的特征圖進(jìn)行拼接，得到拼接特征圖；

掩碼檢測模塊，用于根據(jù)拼接特征圖生成人體掩碼概率圖；

掩碼后處理模塊，用于根據(jù)人體掩碼概率圖生成人體掩碼；

關(guān)鍵點(diǎn)后處理模塊，用于根據(jù)人體關(guān)鍵點(diǎn)熱力圖計(jì)算每個(gè)人體關(guān)鍵點(diǎn)在原圖上的坐標(biāo)。