[發明專利]一種基于機器學習以及圖像處理的面部動畫捕捉矯正方法在審
| 申請號： | 202010624435.9 | 申請日： | 2020-07-02 |
| 公開（公告）號： | CN111523524A | 公開（公告）日： | 2020-08-11 |
| 發明（設計）人： | 趙銳;侯志迎 | 申請（專利權）人： | 江蘇原力數字科技股份有限公司 |
| 主分類號： | G06K9/00 | 分類號： | G06K9/00;G06N20/00;G06T5/40 |
| 代理公司： | 南京常青藤知識產權代理有限公司 32286 | 代理人： | 史慧敏 |
| 地址： | 210000 江蘇省南京市建鄴區*** | 國省代碼： | 江蘇;32 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 機器 學習 以及 圖像 處理 面部 動畫 捕捉 矯正 方法 | ||
本發明提供一種基于機器學習以及圖像處理的面部動畫捕捉矯正方法，包括：使用頭戴式攝像機對帶有mark點的人員面部進行視頻拍攝，對采集的圖像進行預處理，按照均勻間隔的幀數選取圖片作為訓練集并人工標記mark點在圖片中的位置，對訓練集中的圖片進行旋轉、平移和改變亮度；采用訓練模型對訓練集進行訓練；將攝像機拍攝到的圖像分別輸入到網絡模型中得到標記的mark點，使用opencv斑點檢測法和LK光流法檢測與跟蹤mark點；將采用訓練模型訓練得到的mark點與opencv檢測到的mark點相匹配，對沒有匹配到的mark點加重顯示，并根據實際情況對其位置進行矯正，增加魯棒性。
技術領域
本發明涉及面部動畫捕捉矯正技術領域，具體涉及一種基于機器學習以及圖像處理的面部動畫捕捉矯正方法。
背景技術
在人臉動畫制作領域，需要跟蹤人臉的表情動作等變化需要人臉的一些關鍵點輔助，目前業內有一些關鍵點檢測跟蹤的方法，但是都不夠魯棒，經常需要人工糾正那些跟蹤錯誤的點，人力成本和時間成本都比較高。
發明內容
本發明的目的是提供一種基于機器學習以及圖像處理的面部動畫捕捉矯正方法，將機器學習與圖像處理相結合，所需要的訓練數據少，訓練速度快；
本發明提供了如下的技術方案：
一種基于機器學習以及圖像處理的面部動畫捕捉矯正方法，包括以下步驟：
S1、對采樣人員的面部標記多個mark點，使用多個頭戴式攝像機對帶有所述mark點的人員面部進行視頻拍攝；
S2、對每個所述攝像機采集的每幀圖像進行圖片預處理，并按照均勻間隔的幀數選取圖片作為訓練集；
S3、在所述訓練集中的圖片上人工標記所述mark點在圖片中的位置；
S4、對所述訓練集中的圖片進行旋轉、平移和改變亮度以擴增數據；
S5、采用人臉關鍵點算法的訓練模型對擴增的所述訓練集中的圖片數據進行訓練，得到所述mark點在圖片中的位置信息；
S6、將所述攝像機拍攝到的圖像分別輸入到網絡模型中得到標記的mark點，使用opencv斑點檢測法檢測所述mark點，并且使用LK光流法跟蹤所述mark點；
S7、將采用所述訓練模型訓練得到的mark點與所述opencv檢測到的mark點相匹配，對沒有匹配到的mark點加重顯示，并根據實際情況對其位置進行矯正；
優選的，步驟S1的所述攝像機的數量至少為兩個；
優選的，步驟S2所述的預處理為對所述攝像機拍攝的圖片采用直方圖均衡化操作；
優選的，步驟S2的選取的間隔幀數為10張；
優選的，步驟S6所述的使用opencv斑點檢測法檢測所述mark點的步驟如下：
P1、對待檢測圖像設定一個低閾值與一個高閾值，再設定一個閾值步進，按照所述閾值步進從所述低閾值到所述高閾值選取一系列的閾值；
P2、用選取的每一個閾值對所述圖像進行二值化，使用findcontours函數查找圖像的邊，檢測出所述圖像的輪廓,并計算每一個圖像的輪廓的中心；
P3、對應每一個所述圖像的輪廓的中心進行抑制，定義一個最小距離，將所述距離區域內的特征中心定義為一個blob，得到mark點集合；
P4、對所述mark點進行過濾；
優選的，步驟P4所述的過濾包括顏色過濾與面積過濾；
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于江蘇原力數字科技股份有限公司，未經江蘇原力數字科技股份有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010624435.9/2.html，轉載請聲明來源鉆瓜專利網。
