[發(fā)明專利]一種換臉視頻檢測方法

在審

• 申請?zhí)枺?/td>: 202010592686.3
• 申請日: 2020-06-24
• 公開（公告）號: CN111783608A
• 公開（公告）日: 2020-10-16
• 發(fā)明（設(shè)計）人: 崔弘;庚嵩;曲寶珠;王康
• 申請（專利權(quán)）人: 南京烽火星空通信發(fā)展有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京經(jīng)緯專利商標代理有限公司 32200
• 代理人: 陸志斌

1.一種換臉視頻檢測方法，其特征在于：

S1：將包含人臉視頻數(shù)據(jù)解碼，并提取出若干連續(xù)的單幀人臉圖像，將截取每一幀人臉圖像按照幀序號對應(yīng)編碼，形成一組具有編碼的連續(xù)的人臉圖片；

S2：通過人臉檢測工具對每一人臉圖片進行計算，獲得對應(yīng)的人臉痕跡圖；

S3：計算出人臉痕跡圖的區(qū)域面積，并比對單幀圖像的區(qū)域面積，計算出輪廓比；每一張編碼的人臉圖片獲取一個獨立的輪廓比值，多張連續(xù)的人臉圖片所產(chǎn)生的輪廓比值形成一串離散數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的一種換臉視頻檢測方法，其特征在于：

通過通用的opencv或者ffmpeg工具包，將包含人臉視頻數(shù)據(jù)解碼為一組連續(xù)的單幀人臉圖像；通過python中開源的Dlib工具庫，截取單幀人臉圖像的人臉區(qū)域，不同幀圖像中人臉區(qū)域的尺寸相同或者不同。

3.根據(jù)權(quán)利要求2所述的一種換臉視頻檢測方法，其特征在于：

使用RetinaFace人臉檢測器檢測單幀人臉圖像中的人臉，用于確定單幀人臉圖像中的人臉位置和大小，并采集每一幀人臉圖像中關(guān)鍵點檢測。

4.根據(jù)權(quán)利要求3所述的一種換臉視頻檢測方法，其特征在于：

對提取的每一幀人臉圖片使用HRnet網(wǎng)絡(luò)提取特征，并在尾部添加分類器，分類器由全局平局池化層、全連接層、Sigmoid激活層組成。

5.根據(jù)權(quán)利要求3所述的一種換臉視頻檢測方法，其特征在于：

對采集的關(guān)鍵點數(shù)據(jù)進行處理，具體步驟包括：

1)準備一組人臉數(shù)據(jù)，人臉數(shù)據(jù)需帶有至少68個以上關(guān)鍵點標注信息；

2)隨機選取準備好人臉數(shù)據(jù)中的任一張人臉A，并計算其余人臉與該人臉的相似度，這里采用兩者關(guān)鍵點間的歐氏距離作為相似度評價指標，并按照相似度大小升序排序，取前100張最相似的人臉信息，緩存該排序信息，從前100張最相似人臉中隨機選取1張人臉，設(shè)為B；

3)根據(jù)A的關(guān)鍵點位置，計算A的臉部輪廓凸包，將凸包內(nèi)像素值設(shè)為1，凸包外的像素值設(shè)置為0，得到初始人臉掩膜。對初始人臉掩膜進行高斯模糊，將掩膜數(shù)據(jù)由int型轉(zhuǎn)變?yōu)閒loat32型，并軟化掩膜。高斯核尺寸從隨機選取，軟化后得到最終的人臉掩膜M；

4)根據(jù)公式構(gòu)造偽造人臉I(yè)M；

5)根據(jù)公式，得到最終的換臉痕跡S；

6)循環(huán)2)～5)生成一組訓練數(shù)據(jù)，N為batch size，損失函數(shù)由痕跡檢測和分類兩部分組成。其中痕跡檢測損失函數(shù)為BCE損失，分類損失為交叉熵損失。為了加強對痕跡檢測的監(jiān)督，設(shè)置痕跡檢測損失與分類損失的計算比例為100:1。

6.根據(jù)權(quán)利要求3所述的一種換臉視頻檢測方法，其特征在于：

通過換臉痕跡檢測模型得到每幀的結(jié)果，計算被判定為換臉幀的總數(shù)量與輸入痕跡檢測模型幀數(shù)的比例P；

P≥0.5，則認定該視頻為換臉視頻；

若P＝0，則該視頻與換臉無關(guān)。