[發(fā)明專利]特征點定位方法及裝置

在審

• 申請?zhí)枺?/td>: 201711311746.4
• 申請日: 2017-12-11
• 公開（公告）號: CN108121951A
• 公開（公告）日: 2018-06-05
• 發(fā)明（設計）人: 陳志軍
• 申請（專利權）人: 北京小米移動軟件有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京尚倫律師事務所 11477
• 代理人: 代治國

1.一種特征點定位方法，其特征在于，包括：

根據(jù)卷積神經(jīng)網(wǎng)絡的第一子網(wǎng)絡，提取待檢測的人臉圖像的第一特征圖；所述第一子網(wǎng)絡至少包括所述卷積神經(jīng)網(wǎng)絡的第一特征提取層；

根據(jù)所述第一特征圖，確定所述人臉圖像的人臉位置框；

根據(jù)所述人臉位置框、所述第一特征圖和第二子網(wǎng)絡，確定所述人臉圖像中的特征點及其位置；所述第二子網(wǎng)絡層至少包括所述卷積神經(jīng)網(wǎng)絡的第二特征提取層和全連接層。

2.根據(jù)權利要求1所述的方法，其特征在于，所述根據(jù)所述人臉位置框、所述第一特征圖和第二子網(wǎng)絡，確定所述人臉圖像中的特征點及位置包括：

根據(jù)所述第一特征圖和所述人臉位置框，確定在所述人臉位置框內的第二特征圖；

將所述第二特征圖輸入所述第二子網(wǎng)絡，得到所述人臉圖像中特征點及位置。

3.根據(jù)權利要求2所述的方法，其特征在于，所述卷積神經(jīng)網(wǎng)絡還包括區(qū)域生成網(wǎng)絡RPN層；所述根據(jù)所述第一特征圖，確定所述人臉圖像的人臉位置框包括：

在RPN層中，通過錨箱從所述第一特征圖中確定至少一個位置范圍框及所述位置范圍框的置信度；

在所述至少一個位置范圍框中，將置信度高于預設值的位置范圍框作為所述人臉位置框。

4.根據(jù)權利要求3所述的方法，其特征在于，所述卷積神經(jīng)網(wǎng)絡還包括ROIpooling層，所述根據(jù)所述第一特征圖和所述人臉位置框，確定在所述人臉位置框內的第二特征圖包括：

將所述第一特征圖映射到所述人臉位置框中，得到所述人臉位置框內的第三特征圖；

在所述ROIpooling層中，將所述第三特征圖歸一化為預設行列的所述第二特征圖。

5.根據(jù)權利要求1所述的方法，其特征在于，所述將所述第二特征圖輸入所述第二子網(wǎng)絡，得到所述人臉圖像中特征點及位置包括：

在所述第二特征提取層中，從所述第二特征圖中提取特征更緊密的第四特征圖；

在所述全連接層中，根據(jù)所述第四特征圖，從所述人臉圖像中篩選出所述特征點及其位置。

6.根據(jù)權利要求1所述的方法，其特征在于，所述方法還包括：

利用訓練樣本進行預選訓練，得到所述卷積神經(jīng)網(wǎng)絡。

7.根據(jù)權利要求6所述的方法，其特征在于，所述訓練樣本包括一組訓練圖像、每張所述訓練圖像的人臉位置框及每張所述訓練圖像的特征點及其位置；對于所述一組訓練圖像中的第i張訓練圖像，所述i是正整數(shù)，所述利用訓練樣本進行預選訓練，得到所述卷積神經(jīng)網(wǎng)絡包括：

將所述第i張訓練圖像輸入所述卷積神經(jīng)網(wǎng)絡，從所述第一子網(wǎng)絡輸出訓練特征圖；

根據(jù)所述訓練特征圖，確定所述第i張訓練圖像的第一訓練結果；

根據(jù)所述第一訓練結果、所述第一特征圖和所述第二子網(wǎng)絡，確定所述第i張訓練圖像的第二訓練結果；

確定所述第一訓練結果和所述第i張訓練圖像的人臉位置框的第一誤差；

確定所述第i張訓練圖像的特征點及其位置和所述第二結果的第二誤差；

根據(jù)所述第一誤差和所述第二誤差，改進所述卷積神經(jīng)網(wǎng)絡的參數(shù)。

8.一種特征點定位裝置，其特征在于，包括：

提取模塊，用于根據(jù)卷積神經(jīng)網(wǎng)絡的第一子網(wǎng)絡，提取待檢測的人臉圖像的第一特征圖；所述第一子網(wǎng)絡至少包括所述卷積神經(jīng)網(wǎng)絡的第一特征提取層；

第一確定模塊，用于根據(jù)所述第一特征圖，確定所述人臉圖像的人臉位置框；

第二確定模塊，用于根據(jù)所述人臉位置框、所述第一特征圖和第二子網(wǎng)絡，確定所述人臉圖像中的特征點及其位置；所述第二子網(wǎng)絡層至少包括所述卷積神經(jīng)網(wǎng)絡的第二特征提取層和全連接層。

9.根據(jù)權利要求8所述的裝置，其特征在于，所述第二確定模塊包括：

第一確定子模塊，用于根據(jù)所述第一特征圖和所述人臉位置框，確定在所述人臉位置框內的第二特征圖；

第一輸入子模塊，用于將所述第二特征圖輸入所述第二子網(wǎng)絡，得到所述人臉圖像中特征點及位置。