[發(fā)明專利]嘴唇區(qū)域定位方法

有效

• 申請?zhí)枺?/td>: 201610011905.8
• 申請日: 2016-01-08
• 公開（公告）號: CN105787427B
• 公開（公告）日: 2019-05-24
• 發(fā)明（設(shè)計）人: 王士林;傅劍文;夏霙;李翔;裘瑛
• 申請（專利權(quán)）人: 上海交通大學(xué);上海數(shù)據(jù)分析與處理技術(shù)研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32
• 代理公司: 上海漢聲知識產(chǎn)權(quán)代理有限公司 31236
• 代理人: 郭國中

1.一種嘴唇區(qū)域定位方法，其特征在于，包括如下步驟：

步驟1：通過數(shù)碼攝像機拍攝講話人的正面講話視頻，并通過人臉檢測技術(shù)獲得每一幀的人臉圖像樣本，并對樣本圖像進行膚色過濾；

步驟2：計算膚色像素點的重心位置，從重心位置開始向下檢索鼻孔位置，定位嘴唇區(qū)域的上邊界；

步驟3：濾去不與圖像邊界連通的非膚色像素點；

步驟4：濾去包含在背景區(qū)域中的偽膚色像素點；

步驟5：統(tǒng)計經(jīng)過步驟3、步驟4過濾的圖像的每行膚色像素點的數(shù)目，定位嘴唇區(qū)域的下邊界；

步驟6：在嘴唇區(qū)域的上下邊界內(nèi)，對經(jīng)過步驟3、步驟4過濾的圖像從左至右逐列掃描，定位嘴唇區(qū)域的左邊界；再對該圖像從右至左逐列掃描，定位嘴唇區(qū)域的右邊界；

所述步驟1包括：

步驟1.1：將數(shù)字圖像由原先的RGB顏色空間轉(zhuǎn)換到Y(jié)UV色彩空間：

式中：R表示圖像的紅色分量、G表示圖像的綠色分量、B表示圖像的藍色分量；Y表示圖像的亮度信息，U表示藍色分量和一個參考值的差，V表示紅色分量和一個參考值的差；

步驟1.2：對位于區(qū)間[0,0.001)的U分量，全部置為0.001，對位于區(qū)間(-0.001,0)的U分量全部置為-0.001；

步驟1.3：計算V分量和U分量的傾角

步驟1.4：將滿足-80≤θ≤-30且U＜0的像素點置1，其余像素點置0，得到二值圖像I；

步驟1.5：將數(shù)字圖像由原先的RGB顏色空間轉(zhuǎn)換到Y(jié)IQ色彩空間：

式中：Y表示圖像的亮度信息，I表示從橙色到青色的顏色變化，Q表示從紫色到黃綠色的顏色變化；

步驟1.6：將滿足20≤I≤90的像素點置1，其余像素點置0，得到二值圖像II；

步驟1.7：對二值圖像I和二值圖像II中對應(yīng)的像素點做邏輯與操作，并在3×3的鄰域中進行中值濾波，最終得到的二值圖像即為膚色過濾的結(jié)果，其中1值為膚色像素點，0值為非膚色像素點。

2.根據(jù)權(quán)利要求1所述的嘴唇區(qū)域定位方法，其特征在于，所述步驟2包括：計算膚色像素點的重心位置，從重心位置開始向下檢索鼻孔位置，檢索寬度為重心位置左右各10％的全圖寬度，若在抵達膚色區(qū)域下三分之一的邊界之前檢索成功，則該處即為嘴唇區(qū)域的上邊界；若檢索不成功，則令膚色區(qū)域的下三分之一邊界為嘴唇區(qū)域的上邊界。

3.根據(jù)權(quán)利要求1所述的嘴唇區(qū)域定位方法，其特征在于，所述步驟3包括：濾去不與圖像邊界連通的非膚色像素點，所述非膚色像素點主要包括：眼睛、眼鏡、鼻孔、嘴唇位置的像素點，即將眼睛、眼鏡、鼻孔、嘴唇位置的像素點設(shè)置為與膚色同值；

具體地包括：

步驟3.1：記膚色過濾后得到的二值圖像為BW，其中膚色點的像素值為1，非膚色 點的像素值為0；對BW按位取反，并將所有與邊界連通的1值像素點置0，得到新的二值圖像CLEAR_BORDER.；

步驟3.2：將BW與CLEAR_BORDER按位進行邏輯或運算，得到的新的二值圖像BW即為過濾后的結(jié)果，即不與圖像邊界連通的非膚色像素點均置為1。

4.根據(jù)權(quán)利要求3所述的嘴唇區(qū)域定位方法，其特征在于，所述步驟4包括：將步驟3.2中得到的二值圖像BW中所有與邊界連通的1值像素點置為0，并按位取反，得到二值圖像TMP，將BW與TMP按位進行邏輯與運算得到新的BW，用以濾除包含在背景區(qū)域中的偽膚色像素點，將所述偽 膚色像素點置為0，更新后的BW即為濾除掉背景區(qū)域中偽膚色像素點的結(jié)果。

5.根據(jù)權(quán)利要求4所述的嘴唇區(qū)域定位方法，其特征在于，所述步驟5包括：對步驟4中更新后的二值圖像BW進行從下向上逐行掃描，統(tǒng)計每行膚色像素點的數(shù)目，若某行的膚色像素點的數(shù)目不小于嘴唇區(qū)域上邊界所在行的膚色像素點數(shù)目的85％，即認為該行為嘴唇區(qū)域的下邊界。

6.根據(jù)權(quán)利要求5所述的嘴唇區(qū)域定位方法，其特征在于，所述步驟6包括：在嘴唇區(qū)域的上下邊界內(nèi)，對步驟4中更新后的二值圖像BW從左至右逐列掃描，直至掃描到某一列的像素值全為1，則將該列作為嘴唇區(qū)域的左邊界；并對步驟4中更新后的二值圖像BW進行從右至左逐列掃描，直至掃描到某一列的像素值全為1，則將該列作為嘴唇區(qū)域的右邊界。