[發明專利]人臉關鍵點數據增強方法、裝置、系統以及模型訓練方法

有效

• 申請號: 202010167639.4
• 申請日: 2020-01-07
• 公開（公告）號: CN111178337B
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 楊帆;郝強;潘鑫淼;胡建國
• 申請（專利權）人: 南京甄視智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08;G06T3/00;G06T3/40;G06T7/13
• 代理公司: 南京行高知識產權代理有限公司 32404
• 代理人: 王菊花;王培松

1.一種基于局部仿射變換的人臉關鍵點數據增強方法，其特征在于，包括：

步驟1、采集N張包含人臉的彩色圖像，N為正整數，且N≥100；

步驟2、對每個彩色圖像中的最大的人臉標注其104個關鍵點，其中包括0~32號點為臉部輪廓點，33~50號點為眉毛關鍵點，51~65號點為鼻子關鍵點，66~83號點為眼睛關鍵點，84~103號點為嘴部關鍵點，得到的標注數據；

步驟3、對標注數據進行預處理，得到人臉邊界框，并擴展成正方形邊界框，然后截取正方形邊界框內的圖像并縮放至64×64像素大小的圖像；

步驟4、對64×64像素大小的圖像修正104個關鍵點坐標；

步驟5、根據修正后的關鍵點坐標和圖像邊緣點坐標對修正后的圖像數據構建三角圖像陣列；

步驟6、從步驟4得到圖像數據中選擇多組原始的彩色圖像中缺乏人臉形態的關鍵點數據作為目標關鍵點數據，得到目標關鍵點的坐標數據，包括閉眼時的關鍵點、側臉時的關鍵點以及張大嘴時的關鍵點；

步驟7、對按照步驟3預處理后的每個圖像數據進行圖像增強，對三角圖像陣列中的各個子區域進行仿射變換；

步驟8、將步驟7中仿射變換后的各子區域圖像按照目標子區域圖像的三個頂點坐標重新拼接，得到新的人臉圖像，與之對應的關鍵點坐標作為目標關鍵點坐標；

步驟9、對步驟8拼接后的人臉圖像和對應的目標關鍵點數據使用數據增強方法再次進行隨機增強。

2.根據權利要求1所述的基于局部仿射變換的人臉關鍵點數據增強方法，其特征在于，所述步驟9中對隨機增強處理包括：

1）-30°到30°的隨機旋轉；

2）邊長10%的隨機平移；

3）邊長90%到120%的隨機縮放；

4）50%概率的水平翻轉；

5）對圖像進行30%概率的高斯模糊和30%概率的顏色抖動。

3.根據權利要求1所述的基于局部仿射變換的人臉關鍵點數據增強方法，其特征在于，所述步驟2中，對104個關鍵點的標注，得到標注數據為：

其中，為第幅圖像；為第幅圖像的第個關鍵點坐標；

，。

4.根據權利要求3所述的基于局部仿射變換的人臉關鍵點數據增強方法，其特征在于，所述步驟3中，根據標注的關鍵點坐標的最高點、最低點、最左點、最右點確定人臉邊界框，并向外擴展邊長的20%，若此時邊界框為矩形，則將矩形框的短邊再次擴展至與長邊相等，得到正方形邊界框；

再將圖像中邊界框內的部分截取出來，并放縮至64×64像素大小的圖像。

5.根據權利要求1所述的基于局部仿射變換的人臉關鍵點數據增強方法，其特征在于，前述方法更加包括：

對每一個原始的彩色圖像經過前述預處理得到的64×64像素大小的原始圖像數據按照前述步驟2-9進行增強，重復9次，以將數據量擴充9倍；

再將原始圖像數據與新的人臉圖像數據進行合并，組成新的用于人臉關鍵點檢測模型訓練的訓練數據集。