[發(fā)明專利]一種基于機器學(xué)習(xí)以及圖像處理的面部動畫捕捉矯正方法

在審

• 申請?zhí)枺?/td>: 202010624435.9
• 申請日: 2020-07-02
• 公開（公告）號: CN111523524A
• 公開（公告）日: 2020-08-11
• 發(fā)明（設(shè)計）人: 趙銳;侯志迎
• 申請（專利權(quán)）人: 江蘇原力數(shù)字科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N20/00;G06T5/40
• 代理公司: 南京常青藤知識產(chǎn)權(quán)代理有限公司 32286
• 代理人: 史慧敏

1.一種基于機器學(xué)習(xí)以及圖像處理的面部動畫捕捉矯正方法，其特征在于，包括以下步驟：

S1、對采樣人員的面部標(biāo)記多個mark點，使用多個頭戴式攝像機對帶有所述mark點的人員面部進行視頻拍攝；

S2、對每個所述攝像機采集的每幀圖像進行圖片預(yù)處理，并按照均勻間隔的幀數(shù)選取圖片作為訓(xùn)練集；

S3、在所述訓(xùn)練集中的圖片上人工標(biāo)記所述mark點在圖片中的位置；

S4、對所述訓(xùn)練集中的圖片進行旋轉(zhuǎn)、平移和改變亮度以擴增數(shù)據(jù)；

S5、采用人臉關(guān)鍵點算法的訓(xùn)練模型對擴增的所述訓(xùn)練集中的圖片數(shù)據(jù)進行訓(xùn)練，得到所述mark點在圖片中的位置信息；

S6、將所述攝像機拍攝到的圖像分別輸入到網(wǎng)絡(luò)模型中得到標(biāo)記的mark點，使用opencv斑點檢測法檢測所述mark點，并且使用LK光流法跟蹤所述mark點；

S7、將采用所述訓(xùn)練模型訓(xùn)練得到的mark點與所述opencv檢測到的mark點相匹配，對沒有匹配到的mark點加重顯示，并根據(jù)實際情況對其位置進行矯正。

2.根據(jù)權(quán)利要求1所述的一種基于機器學(xué)習(xí)以及圖像處理的面部動畫捕捉矯正方法，其特征在于，步驟S1的所述攝像機的數(shù)量至少為兩個。

3.根據(jù)權(quán)利要求1所述的一種基于機器學(xué)習(xí)以及圖像處理的面部動畫捕捉矯正方法，其特征在于，步驟S2所述的預(yù)處理為對所述攝像機拍攝的圖片采用直方圖均衡化操作。

4.根據(jù)權(quán)利要求1所述的一種基于機器學(xué)習(xí)以及圖像處理的面部動畫捕捉矯正方法，其特征在于，步驟S2的選取的間隔幀數(shù)為10張。

5.根據(jù)權(quán)利要求1所述的一種基于機器學(xué)習(xí)以及圖像處理的面部動畫捕捉矯正方法，其特征在于，步驟S6所述的使用opencv斑點檢測法檢測所述mark點的步驟如下：

P1、對待檢測圖像設(shè)定一個低閾值與一個高閾值，再設(shè)定一個閾值步進，按照所述閾值步進從所述低閾值到所述高閾值選取一系列的閾值；

P2、用選取的每一個閾值對所述圖像進行二值化，使用findcontours函數(shù)查找圖像的邊，檢測出所述圖像的輪廓,并計算每一個圖像的輪廓的中心；

P3、對應(yīng)每一個所述圖像的輪廓的中心進行抑制，定義一個最小距離，將所述距離區(qū)域內(nèi)的特征中心定義為一個blob，得到mark點集合；

P4、對所述mark點進行過濾。

6.根據(jù)權(quán)利要求5所述的一種基于機器學(xué)習(xí)以及圖像處理的面部動畫捕捉矯正方法，其特征在于，步驟P4所述的過濾包括顏色過濾與面積過濾。