[發(fā)明專利]一種人臉關(guān)鍵點定位方法、裝置、終端及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111501969.3
• 申請日: 2021-12-09
• 公開（公告）號: CN114187634A
• 公開（公告）日: 2022-03-15
• 發(fā)明（設(shè)計）人: 孫雨涵;陳永輝
• 申請（專利權(quán)）人: 深圳市美通視訊科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/46;G06V10/82;G06N3/04;G06N3/08;G06K9/62;G06V10/764
• 代理公司: 北京維正專利代理有限公司 11508
• 代理人: 孫中勤

1.一種人臉關(guān)鍵點定位方法，其特征在于，包括：

實時獲取人臉圖像信息；

采用輕量級坐標回歸網(wǎng)絡(luò)模型對所述人臉圖像信息進行關(guān)鍵點定位并輸出關(guān)鍵點定位信息；

其中，所述輕量級坐標回歸網(wǎng)絡(luò)模型采用SE-Sandglass結(jié)構(gòu)作為主干網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的一種人臉關(guān)鍵點定位方法，其特征在于：所述SE-Sandglass結(jié)構(gòu)包括Sandglass結(jié)構(gòu)和SE結(jié)構(gòu)，將所述Sandglass結(jié)構(gòu)和SE結(jié)構(gòu)進行串聯(lián)結(jié)合。

3.根據(jù)權(quán)利要求2所述的一種人臉關(guān)鍵點定位方法，其特征在于：所述Sandglass結(jié)構(gòu)包括依次串聯(lián)的第一深度卷積、第一逐點卷積、第二逐點卷積和第二深度卷積，所述第一深度卷積和第二逐點卷積后使用非線性激活函數(shù)ReLU6，所述第一逐點卷積和第二深度卷積后使用線性激活。

4.根據(jù)權(quán)利要求2所述的一種人臉關(guān)鍵點定位方法，其特征在于：所述SE結(jié)構(gòu)包括采用GAP進行Fsq壓縮操作和采用FC進行Fex捕獲操作。

5.根據(jù)權(quán)利要求1所述的一種人臉關(guān)鍵點定位方法，其特征在于：所述輕量級坐標回歸網(wǎng)絡(luò)模型包括依次串聯(lián)的若干個第一卷積、若干個SE-Sandglass結(jié)構(gòu)、若干個第二卷積、一個GDC結(jié)構(gòu)、若干個第三卷積和一個FC全連接結(jié)構(gòu)。

6.根據(jù)權(quán)利要求1所述的一種人臉關(guān)鍵點定位方法，其特征在于，在獲取人臉圖像信息之前還包括：將訓(xùn)練集樣本按照角度分類，并根據(jù)各個角度中的樣本數(shù)量進行樣本數(shù)據(jù)平衡。

7.根據(jù)權(quán)利要求6所述的一種人臉關(guān)鍵點定位方法，其特征在于，所述將訓(xùn)練集樣本按照角度分類，并根據(jù)各個角度中的樣本數(shù)量進行樣本數(shù)據(jù)平衡，具體包括：

將若干張正臉的平均值作為預(yù)定義的標準臉；

在所述標準臉上固定若干個關(guān)鍵點坐標作為所有樣本的固定參考點；

根據(jù)所述若干個固定參考點在每張樣本上一一找出對應(yīng)的對照點；

針對每張樣本，利用所述若干個固定參考點和對照點通過SolvePnp估算一個旋轉(zhuǎn)矩陣，并從所述旋轉(zhuǎn)矩陣中解算出角度，從而獲得每張樣本對應(yīng)的角度；

根據(jù)所述每張樣本對應(yīng)的角度將各個樣本按角度進行分類并統(tǒng)計數(shù)量；

復(fù)制樣本數(shù)量較少的分類中的樣本來平衡訓(xùn)練數(shù)據(jù)。

8.一種人臉關(guān)鍵點定位裝置，其特征在于，包括：

存儲器，用于存儲人臉關(guān)鍵點定位程序；

處理器，在運行所述人臉關(guān)鍵點定位程序時執(zhí)行權(quán)利要求1-8任一項所述人臉關(guān)鍵點定位方法的步驟。

9.一種人臉關(guān)鍵點定位終端，其特征在于，包括：

圖像采集裝置，用于采集人臉圖像信息；

駕駛狀態(tài)檢測裝置，用于檢測駕駛?cè)藛T的駕駛狀態(tài)；

如權(quán)利要求8所述的人臉關(guān)鍵點定位裝置，輸入端連接所述圖像采集裝置，輸出端連接所述駕駛狀態(tài)檢測裝置。

10.一種計算機可讀存儲介質(zhì)，其特征在于，存儲有能夠被處理器加載并執(zhí)行權(quán)利要求1至7中任一項所述人臉關(guān)鍵點定位方法的計算機程序。