[發明專利]嘴唇動作分析方法、裝置及存儲介質

在審

• 申請號: 201710708364.9
• 申請日: 2017-08-17
• 公開（公告）號: CN107633205A
• 公開（公告）日: 2018-01-26
• 發明（設計）人: 陳林;張國輝
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙)44347
• 代理人: 于志光,郭夢霞

1.一種電子裝置，其特征在于，所述裝置包括：存儲器、處理器及攝像裝置，所述存儲器中包括嘴唇動作分析程序，所述嘴唇動作分析程序被所述處理器執行時實現如下步驟：

實時臉部圖像獲取步驟：獲取攝像裝置拍攝的實時圖像，利用人臉識別算法從該實時圖像中提取一張實時臉部圖像；

特征點識別步驟：將該實時臉部圖像輸入預先訓練好的嘴唇平均模型，利用該嘴唇平均模型識別出該實時臉部圖像中代表嘴唇位置的t個嘴唇特征點；

所述嘴唇平均模型的訓練步驟包括：建立一個有n張人臉圖像的第一樣本庫，在第一樣本庫中的每張人臉圖像中的嘴唇部位標記t個特征點；利用所述標記嘴唇特征點的人臉圖像對人臉特征識別模型進行訓練得到關于人臉的嘴唇平均模型，所述人臉特征識別模型ERT算法，用公式表示如下：

其中t表示級聯序號，τ_t(·，·)表示當前級的回歸器，為當前模型的形狀估計；每個回歸τ_t(·，·)根據輸入圖像I和來預測一個增量在模型訓練的過程中，取所有樣本圖像的部分特征點訓練出第一棵回歸樹，將第一棵回歸樹的預測值與所述部分特征點的真實值的殘差用來訓練第二棵樹…依次類推，直到訓練出第N棵樹的預測值與所述部分特征點的真實值接近于0，得到ERT算法的所有回歸樹，根據這些回歸樹得到人臉的嘴唇平均模型；

嘴唇區域識別步驟：根據所述t個嘴唇特征點確定嘴唇區域，將該嘴唇區域輸入預先訓練好的嘴唇分類模型，判斷該嘴唇區域是否為人的嘴唇區域；及

嘴唇運動判斷步驟：若該嘴唇區域為人的嘴唇區域時，根據該實時臉部圖像中t個嘴唇特征點的x、y坐標，計算得到該實時臉部圖像中嘴唇的運動方向及運動距離；

所述嘴唇平均模型中有20個嘴唇特征點，其中：

唇部的上、下嘴唇分別有8個特征點，左右唇角分別有2個特征點；

上嘴唇的8個特征點中，5個位于上嘴唇外輪廓線、3個位于上嘴唇內輪廓線且位于中間位置的特征點為上嘴唇內側中心特征點；

下嘴唇的8個特征點中，5個位于下嘴唇外輪廓線、3個位于下嘴唇內輪廓線且位于中間位置的特征點為下嘴唇內側中心特征點；

左右唇角各自的2個特征點中，1個位于嘴唇外輪廓線稱作外唇角特征點，1個位于嘴唇內輪廓線稱作內唇角特征點；

所述嘴唇運動判斷步驟包括：

計算實時臉部圖像中上嘴唇內側中心特征點與下嘴唇內側中心特征點的距離，判斷嘴唇的張開程度；

將左側外唇角特征點與上、下嘴唇外輪廓線上離左側外唇角特征點最近的特征點分別相連形成向量計算向量之間的夾角，得到嘴唇左撇的程度；及

將右側外唇角特征點與上、下嘴唇外輪廓線上離右側外唇角特征點最近的特征點分別相連形成向量計算向量之間的夾角，得到嘴唇右撇的程度。

2.根據權利要求1所述的電子裝置，其特征在于，所述嘴唇動作分析程序被所述處理器執行時，還實現如下步驟：

提示步驟：當嘴唇分類模型判斷該嘴唇區域不是人的嘴唇區域時，提示未從當前實時圖像中檢測到人的嘴唇區域、無法判斷嘴唇運動，并返回至實時臉部圖像獲取步驟。

3.根據權利要求1或2所述的電子裝置，其特征在于，所述嘴唇分類模型的訓練步驟包括：

收集m張嘴唇正樣本圖像和k張嘴唇負樣本圖像，構成第二樣本庫；

提取每張嘴唇正樣本圖像、嘴唇負樣本圖像的局部特征；及

利用嘴唇正樣本圖像、嘴唇負樣本圖像及其局部特征對支持向量機分類器進行訓練，得到人臉的嘴唇分類模型。