[發明專利]嘴唇動作分析方法、裝置及存儲介質

在審

• 申請號: 201710708364.9
• 申請日: 2017-08-17
• 公開（公告）號: CN107633205A
• 公開（公告）日: 2018-01-26
• 發明（設計）人: 陳林;張國輝
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙)44347
• 代理人: 于志光,郭夢霞

本發明公開了一種嘴唇動作分析方法、裝置及存儲介質，該方法包括：獲取攝像裝置拍攝的實時圖像，從該實時圖像中提取一張實時臉部圖像；將該實時臉部圖像輸入預先訓練好的嘴唇平均模型，識別出該實時臉部圖像中代表嘴唇位置的t個嘴唇特征點；根據所述t個嘴唇特征點確定嘴唇區域，將該嘴唇區域輸入預先訓練好的嘴唇分類模型，判斷該嘴唇區域是否為人的嘴唇區域；若是，則根據該實時臉部圖像中t個嘴唇特征點的x、y坐標，計算得到該實時臉部圖像中嘴唇的運動方向及運動距離。本發明根據嘴唇特征點的坐標計算實時臉部圖像中嘴唇的運動信息，實現對嘴唇區域的分析及對嘴唇動作的實時捕捉。

技術領域

本發明涉及計算機視覺處理技術領域，尤其涉及一種嘴唇動作分析方法、裝置及計算機可讀存儲介質。

背景技術

嘴唇動作捕捉是基于人的臉部特征信息進行用戶嘴唇動作識別的一種生物識別技術。目前，嘴唇動作捕捉的應用領域很廣泛，在門禁考勤、身份識別等眾多領域起到非常重要的作用，給人們的生活帶來很大便利。嘴唇動作的捕捉，一般產品的做法是使用深度學習方法，通過深度學習訓練出嘴唇特征的分類模型，然后使用分類模型來判斷嘴唇的特征。

然而，使用深度學習的方法來訓練嘴唇特征，嘴唇特征的多少完全取決于嘴唇樣本的種類，比如判斷張嘴，閉嘴，那么至少需要取張嘴，閉嘴的大量樣本，如果再想判斷撇嘴，就需要再取撇嘴的大量樣本，然后重新訓練。這樣不僅耗時，還不能做到實時捕捉。另外，根據嘴唇特征的分類模型判斷嘴唇特征，并不能分析識別出的嘴唇區域是否為人的嘴唇區域。

發明內容

本發明提供一種嘴唇動作分析方法、裝置及計算機可讀存儲介質，其主要目的在于根據嘴唇特征點的坐標計算實時臉部圖像中嘴唇的運動信息，實現對嘴唇區域的分析及對嘴唇動作的實時捕捉。

為實現上述目的，本發明提供一種電子裝置，該裝置包括：存儲器、處理器及攝像裝置，所述存儲器中包括嘴唇動作分析程序，所述嘴唇動作分析程序被所述處理器執行時實現如下步驟：

實時臉部圖像獲取步驟：獲取攝像裝置拍攝的實時圖像，利用人臉識別算法從該實時圖像中提取一張實時臉部圖像；

特征點識別步驟：將該實時臉部圖像輸入預先訓練好的嘴唇平均模型，利用該嘴唇平均模型識別出該實時臉部圖像中代表嘴唇位置的t個嘴唇特征點；

嘴唇區域識別步驟：根據所述t個嘴唇特征點確定嘴唇區域，將該嘴唇區域輸入預先訓練好的嘴唇分類模型，判斷該嘴唇區域是否為人的嘴唇區域；及

嘴唇運動判斷步驟：若該嘴唇區域為人的嘴唇區域時，根據該實時臉部圖像中t個嘴唇特征點的x、y坐標，計算得到該實時臉部圖像中嘴唇的運動方向及運動距離。

可選地，所述嘴唇動作分析程序被所述處理器執行時，還實現如下步驟：

提示步驟：當嘴唇分類模型判斷該嘴唇區域不是人的嘴唇區域時，提示未從當前實時圖像中檢測到人的嘴唇區域、無法判斷嘴唇運動，并返回至實時臉部圖像獲取步驟。

可選地，所述嘴唇平均模型的訓練步驟包括：

建立一個有n張人臉圖像的第一樣本庫，在第一樣本庫中的每張人臉圖像中的嘴唇部位標記t個特征點，所述t個特征點均勻分布于上、下嘴唇及左、右唇角；及

利用所述標記嘴唇特征點的人臉圖像對人臉特征識別模型進行訓練得到關于人臉的嘴唇平均模型。

可選地，所述嘴唇分類模型的訓練步驟包括：

收集m張嘴唇正樣本圖像和k張嘴唇負樣本圖像，構成第二樣本庫；

提取每張嘴唇正樣本圖像、嘴唇負樣本圖像的局部特征；及

利用嘴唇正樣本圖像、嘴唇負樣本圖像及其局部特征對支持向量機分類器進行訓練，得到人臉的嘴唇分類模型。