[發(fā)明專利]特征點(diǎn)定位方法及裝置

在審

• 申請?zhí)枺?/td>: 201711311746.4
• 申請日: 2017-12-11
• 公開（公告）號: CN108121951A
• 公開（公告）日: 2018-06-05
• 發(fā)明（設(shè)計(jì)）人: 陳志軍
• 申請（專利權(quán)）人: 北京小米移動軟件有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京尚倫律師事務(wù)所 11477
• 代理人: 代治國

本公開是關(guān)于特征點(diǎn)定位方法及裝置。該方法包括：根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的第一子網(wǎng)絡(luò)，提取待檢測的人臉圖像的第一特征圖；第一子網(wǎng)絡(luò)至少包括卷積神經(jīng)網(wǎng)絡(luò)的第一特征提取層；根據(jù)第一特征圖，確定人臉圖像的人臉位置框；根據(jù)人臉位置框、第一特征圖和第二子網(wǎng)絡(luò)，確定人臉圖像中的特征點(diǎn)及其位置；第二子網(wǎng)絡(luò)層至少包括卷積神經(jīng)網(wǎng)絡(luò)的第二特征提取層和全連接層。該技術(shù)方案可以在得到人臉位置框圖之后，根據(jù)人臉位置框圖、第一特征圖和第二子網(wǎng)絡(luò)得到人臉圖像中的特征點(diǎn)及位置，這樣，卷積神經(jīng)網(wǎng)絡(luò)可以一次性解決人來檢測和特征點(diǎn)檢測的兩個(gè)問題，實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)的多任務(wù)處理的可能，提高了卷積神經(jīng)網(wǎng)絡(luò)的使用效率。

技術(shù)領(lǐng)域

本公開涉及深度學(xué)習(xí)，尤其涉及特征點(diǎn)定位方法及裝置。

背景技術(shù)

最近幾年深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域取得了巨大的成功，而在顯著性檢測這一計(jì)算機(jī)視覺的經(jīng)典問題上直到2015年才有了完全使用深度學(xué)習(xí)的方法。通過深度學(xué)習(xí)的方法實(shí)現(xiàn)顯著性檢測的方式也有很多種，其結(jié)果相較于傳統(tǒng)的方法更加準(zhǔn)確，而目前顯著性檢測大多用于目標(biāo)檢測和人臉檢測。

發(fā)明內(nèi)容

本公開實(shí)施例提供特征點(diǎn)定位方法及裝置。所述技術(shù)方案如下：

根據(jù)本公開實(shí)施例的第一方面，提供一種特征點(diǎn)定位方法，包括：

根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的第一子網(wǎng)絡(luò)，提取待檢測的人臉圖像的第一特征圖；所述第一子網(wǎng)絡(luò)至少包括所述卷積神經(jīng)網(wǎng)絡(luò)的第一特征提取層；

根據(jù)所述第一特征圖，確定所述人臉圖像的人臉位置框；

根據(jù)所述人臉位置框、所述第一特征圖和第二子網(wǎng)絡(luò)，確定所述人臉圖像中的特征點(diǎn)及其位置；所述第二子網(wǎng)絡(luò)層至少包括所述卷積神經(jīng)網(wǎng)絡(luò)的第二特征提取層和全連接層。

本公開的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：可以在得到人臉位置框圖之后，根據(jù)人臉位置框圖、第一特征圖和第二子網(wǎng)絡(luò)得到人臉圖像中的特征點(diǎn)及位置，這樣，卷積神經(jīng)網(wǎng)絡(luò)可以一次性解決人來檢測和特征點(diǎn)檢測的兩個(gè)問題，實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)的多任務(wù)處理的可能，提高了卷積神經(jīng)網(wǎng)絡(luò)的使用效率。

在一個(gè)實(shí)施例中，所述根據(jù)所述人臉位置框、所述第一特征圖和第二子網(wǎng)絡(luò)，確定所述人臉圖像中的特征點(diǎn)及位置包括：

根據(jù)所述第一特征圖和所述人臉位置框，確定在所述人臉位置框內(nèi)的第二特征圖；

將所述第二特征圖輸入所述第二子網(wǎng)絡(luò)，得到所述人臉圖像中特征點(diǎn)及位置。

在一個(gè)實(shí)施例中，所述卷積神經(jīng)網(wǎng)絡(luò)還包括區(qū)域生成網(wǎng)絡(luò)RPN層；所述根據(jù)所述第一特征圖，確定所述人臉圖像的人臉位置框包括：

在RPN層中，通過錨箱從所述第一特征圖中確定至少一個(gè)位置范圍框及所述位置范圍框的置信度；

在所述至少一個(gè)位置范圍框中，將置信度高于預(yù)設(shè)值的位置范圍框作為所述人臉位置框。

在一個(gè)實(shí)施例中，所述卷積神經(jīng)網(wǎng)絡(luò)還包括ROIpooling層，所述根據(jù)所述第一特征圖和所述人臉位置框，確定在所述人臉位置框內(nèi)的第二特征圖包括：

將所述第一特征圖映射到所述人臉位置框中，得到所述人臉位置框內(nèi)的第三特征圖；

在所述ROIpooling層中，將所述第三特征圖歸一化為預(yù)設(shè)行列的所述第二特征圖。

在一個(gè)實(shí)施例中，所述將所述第二特征圖輸入所述第二子網(wǎng)絡(luò)，得到所述人臉圖像中特征點(diǎn)及位置包括：

在所述第二特征提取層中，從所述第二特征圖中提取特征更緊密的第四特征圖；

在所述全連接層中，根據(jù)所述第四特征圖，從所述人臉圖像中篩選出所述特征點(diǎn)及其位置。

在一個(gè)實(shí)施例中，所述方法還包括：