[發明專利]一種基于二面體群的面部關鍵點對稱性檢測方法

在審

• 申請號: 201710660821.1
• 申請日: 2017-08-04
• 公開（公告）號: CN107424191A
• 公開（公告）日: 2017-12-01
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06T7/68
• 分類號: G06T7/68;G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于二面體群的面部關鍵點對稱性檢測方法，其特征在于，主要包括人臉對稱(一)；二面體群(二)；檢測算法(三)。

2.基于權利要求書1所述的人臉對稱(一)，其特征在于，面部的特征是由頭骨形狀決定的，許多面部關鍵點在情緒分析中是非常重要的；可用眉毛(3個點)、眼睛(4個點)、唇側(3個點)、嘴唇中部(4個點)的特征對(包括面部左側和右側，總共有24個點，每一側有10個點)進行對稱性分析；面部對稱性是通過改變面部的不對稱性來測量的，而對稱包含旋轉和反射，兩者都可能出現在面部特征中。

3.基于權利要求書2所述的不對稱面部表情，其特征在于，不對稱面部表情可以分為運動不對稱和面部結構不對稱兩種；這兩種方法都可以用于尋找面部的不對稱性；運動通常是發現面部表情不對稱的主要來源，可以通過在一定時間內確定像素值的變化來測量；面部表情的結構不對稱對于面部表情狀態的解釋具有重要意義。

4.基于權利要求書1所述的二面體群(二)，其特征在于，二面體群有兩種主要的操作：旋轉和反射；具有n面的正多邊形是二面體群，可用D_n表示，并具有2n個元素：

{e,r,r²,…,r^n-1,s,sr,sr²,…,sr^n-1}(1)

其中，e是D_n中的單位元素；

D_n＝{s_jr^k:0≤k≤n-1,0≤j≤1}(2)

可用上式表示D_n。

5.基于權利要求書4所述的二面體群的屬性，其特征在于，它們具有的屬性如下：

rⁿ＝1,sr^ks＝r^-k,(sr^k)²＝e，對于所有0≤k≤n-1(3)

D_n的兩個元素的組成由下式給出：

rⁱr^j＝r^i+j,rⁱsr^j＝sr^j-i,srⁱr^j＝sr^i+j,srⁱsr^j＝r^j-i(4)

以D₄為例，用最簡單的結構(一個矩形)來表示面部，除了計算外，它覆蓋了大部分數據。

6.基于權利要求書5所述的正方形的四個逆時針旋轉及其面部關鍵點檢測的變換矩陣，其特征在于，考慮由D₄表示的正方形的四個逆時針旋轉方位的旋轉和反射，計算面部關鍵點檢測的變換矩陣，以及垂直、水平和兩個對角線的反射及其矩陣；

對于i∈{0,1,2,3}，R₁為單位元素(0或360度旋轉)，R₂為90度的旋轉，R₃為180度的旋轉，R₄為270度的旋轉；之后，這些矩陣將作為應用于面部圖像和尋找對稱點的圖像卷積濾波器，特別是在有遮擋圖像時。

7.基于權利要求書5所述的垂直、水平和兩個對角線反射及其面部關鍵點檢測的變換矩陣，其特征在于，對于i∈{1,2}，V表示沿垂直軸翻轉，H表示沿水平軸上翻轉，D₁表示沿左上角和右下角的對角線翻轉，D₂表示沿右上角和左下角的對角線翻轉，這些矩陣表示了眉毛、眼睛和嘴唇左右兩側的反射。

8.基于權利要求書1所述的檢測算法(三)，其特征在于，選擇具有圖像正確對稱中心的區域，然后通過二面體群濾波器，找到當前圖像的旋轉和翻轉版本，并使用這些原始和轉換后圖像版本對網絡進行訓練。

9.基于權利要求書8所述的算法的主要部分，其特征在于，可以總結為3個步驟：

(1)在對圖像進行預處理后，用驗證的算法找到面部圖像中心；

(2)使用二面體群查找精確的旋轉圖像和翻轉圖像；

(3)應用學習算法呈現如神經網絡(NN)和卷積神經網絡(CNN)的面部表情的最佳結果。

10.基于權利要求書9所述的算法的詳細步驟，其特征在于，主要包括以下五個步驟：

(1)對面部圖像進行預處理，如去噪，并在圖像中檢測和裁剪面部，如下所示：

a)檢測面部區域；

b)裁剪眉毛、眼睛和嘴巴區域；

c)使用Canny邊緣檢測算法尋找Canny邊緣；

d)在圖像上尋找多邊形(這里為矩形)；

(2)尋找對稱點；

(3)根據D₄(矩形)中的二面體旋轉和翻轉矩陣，找到旋轉和翻轉的圖像；

(4)有兩個選擇：

a)使用所有原始和變換圖像(旋轉和翻轉圖像)訓練學習方法，如NN；

b)在CNN中使用變換矩陣作為過濾器；

(5)使用新數據進行測試，并使用所有數據(舊和新)進行更多訓練。