[發明專利]一種批量口罩人臉樣本自動生成以及口罩人臉識別方法

有效

• 申請號: 202011530655.1
• 申請日: 2020-12-22
• 公開（公告）號: CN112507963B
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 謝巍;周延;陳定權;許練濠
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06F16/583
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

1.一種批量口罩人臉樣本自動生成以及口罩人臉識別方法，其特征在于，包括以下步驟：

S1、定位人臉庫中的無佩戴口罩人臉的關鍵點；利用集成回歸樹模型定位人臉庫中的無佩戴口罩人臉的關鍵點；所述集成回歸樹模型的訓練包括以下步驟：

在訓練集FDDB中對人臉圖像特征點進行標注，再計算平均人臉形狀，作為模型在測試時初始化的形狀，訓練時，將像素點強度作為特征，已標定的訓練集附近的像素點和點對之間的距離作為特征池，將距離除以兩眼之間的距離以進行歸一化，引入指數距離先驗，加載集成回歸樹模型；所述集成回歸樹模型為級聯的N個回歸樹，每個回歸樹中有M個弱回歸器，每個樹的深度為h，使用梯度提升算法通過殘差不斷回歸，擬合誤差，得到最終的回歸樹模型；

對集成回歸樹模型進行測試：將人臉檢測結果輸入模型，先使用平均臉貼在新的測試臉中，得到初始形狀，用臉部形狀來預測特征點，將所得的特征點都存儲到關鍵點字典表中，表中存儲人臉關鍵點的名稱以及坐標；

S2、分別找到無口罩人臉的下巴以及鼻梁定位點；

S3、將口罩圖片與人臉的下巴以及鼻梁定位點進行對齊，自動生成口罩人臉圖片，并將圖片保存至數據庫；定位點對齊方式如下：

指以某個形狀為基準，對其它形狀進行旋轉，縮放和平移使其盡可能的與基準形狀接近的過程；

首先在訓練集中選擇一幅基準圖像，其他圖片經過變換盡可能的接近該基準圖像，具體的變化過程用一個縮放幅度參數s，旋轉參數θ以及平移參數矩陣t表示，其中M(s,θ)表示旋轉參數為θ，縮放幅度為s的變換矩陣，假設將第2幅圖像X₂經過變換盡可能的接近第1幅圖像X₁，變換后的圖像矩陣表示為：

X₁＝M(s,θ)[X₂]-t

使用歐式距離的大小衡量兩幅圖像接近的程度，假設圖像i的標定點矩陣為X_i,圖像j的標定點矩陣為X_j，二者的歐式距離大小為：

d²_ik＝(X_i-X_j)^T(X_i-X_j)；

S4、識別人臉時，通過檢查關鍵點是否被遮擋來判斷是否戴口罩；

S5、根據步驟S4的判斷，選取相似度高于閾值且相似度最高的人臉所對應的人員，完成人臉識別。

2.根據權利要求1所述的一種批量口罩人臉樣本自動生成以及口罩人臉識別方法，其特征在于，步驟S2是利用字典篩選方法分別找到無口罩人臉的下巴以及鼻梁定位點。

3.根據權利要求2所述的一種批量口罩人臉樣本自動生成以及口罩人臉識別方法，其特征在于：所述字典篩選方法具體為：在步驟S1所得的關鍵點字典表中，檢索下巴以及鼻梁名稱，選取下巴以及鼻梁名稱所對應的關鍵點及其坐標，并將其存儲為一個新的數組。

4.根據權利要求1所述的一種批量口罩人臉樣本自動生成以及口罩人臉識別方法，其特征在于，對檢測的人臉進行識別具體是通過檢查人臉的下巴以及鼻梁關鍵點是否被遮擋來，判斷是否戴口罩。

5.根據權利要求4所述的一種批量口罩人臉樣本自動生成以及口罩人臉識別方法，其特征在于，步驟S4判斷關鍵點是否被遮擋的方法如下：

在所述關鍵點字典表中，檢查下巴(chin)關鍵字以及鼻梁(nose_bridge)關鍵字所對應的坐標是否為空，若為空則關鍵點被遮擋，即人員判為戴口罩，否則沒有遮擋，人員沒有帶口罩。

6.根據權利要求5所述的一種批量口罩人臉樣本自動生成以及口罩人臉識別方法，其特征在于，根據步驟S4的判斷，若判為戴口罩，則計算該人臉與數據庫中佩戴口罩人臉的相似度，選取相似度高于閾值且相似度最高的人臉所對應的人員，完成人臉識別；若判定為無佩戴口罩，則計算其與數據庫中無佩戴口罩人臉的相似度，選取相似度高于閾值且相似度最高的人臉所對應的人員，完成人臉識別。

7.根據權利要求6所述的一種批量口罩人臉樣本自動生成以及口罩人臉識別方法，其特征在于，步驟S5所述相似度計算方式為：

S51、縮放圖片

將需要處理的圖片所放到指定尺寸，縮放后圖片大小由圖片的信息量和復雜度決定；

S52、將圖片灰度化處理；

S53、計算平均值

分別依次計算圖像每行像素點的平均值，記錄每行像素點的平均值，每一個平均值對應一行的特征；

S54、計算方差

對得到的所有平均值進行計算方差，得到的方差為圖像的特征值；

S55、比較方差

經過步驟S51～步驟S55之后，每張圖都會生成一個特征值即方差；待識別圖片的特征值為f，其中戴口罩人臉庫的特征值為f_i，i＝1,...,n，無口罩人臉庫的特征值為f_j，j＝1,...,n，其中n為登記入庫的人員數目；

若測試圖片被判為戴口罩人臉圖片，則計算該人臉與人臉庫中的所有戴口罩樣本人臉的特征值的距離：

若圖片被判為無口罩圖片，則計算該人臉與無口罩人臉庫中的所有樣本人臉的特征值的距離：

根據與待識別圖片特征值最小距離所對應的圖片，得到待識別圖片的人臉所對應的人員名字；

S56、人臉識別

根據上述步驟S55的計算結果，利用設置的閾值，從數據庫中篩選出與測試圖片特征值最為接近并且度量距離高于閾值的人臉圖片，并將數據庫中該人臉圖片所對應的人員名字作為識別結果。