[發(fā)明專利]一種基于眼動(dòng)特征的換臉視頻篡改檢測(cè)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911029468.2
• 申請(qǐng)日: 2019-10-28
• 公開（公告）號(hào): CN110826440B
• 公開（公告）日: 2022-05-24
• 發(fā)明（設(shè)計(jì)）人: 胡永健;李猛;劉琲貝;佘惠敏;李紀(jì)成;王宇飛
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06V40/18
• 分類號(hào): G06V40/18;G06V40/40;G06T7/62;G06T7/73
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 李斌

本發(fā)明公開了一種基于眼動(dòng)特征的換臉視頻篡改檢測(cè)方法及系統(tǒng)，該方法包括下述步驟：檢測(cè)待測(cè)視頻中的人眼區(qū)域，并對(duì)眼部特征點(diǎn)進(jìn)行定位，并預(yù)測(cè)眼球中心位置；計(jì)算待測(cè)視頻各幀的視線方向向量，并計(jì)算視線變化率序列和視線轉(zhuǎn)移方向序列；根據(jù)視線變化率序列計(jì)算單眼靈活度；根據(jù)視線變化率序列計(jì)算雙眼視線變化率吻合度，根據(jù)視線轉(zhuǎn)移方向序列計(jì)算雙眼視線轉(zhuǎn)移方向吻合度；根據(jù)單眼靈活度、視線變化率吻合度、視線轉(zhuǎn)移方向吻合度判斷視頻是否經(jīng)過換臉篡改。本發(fā)明從生物信號(hào)的角度出發(fā)，提取視頻中人眼眼球運(yùn)動(dòng)的固有特征，從單眼靈活度和雙眼吻合度描述真實(shí)視頻與換臉視頻之間的眼動(dòng)特征差異，提升了檢測(cè)效果，并具有通用性和實(shí)時(shí)性。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)字視頻的篡改檢測(cè)技術(shù)領(lǐng)域，具體涉及一種基于眼動(dòng)特征的換臉視頻篡改檢測(cè)方法及系統(tǒng)。

背景技術(shù)

隨著換臉技術(shù)的不斷發(fā)展，換臉視頻的制作門檻越來越低，合成效果越來越逼真，一方面豐富了人們的娛樂生活，另一方面換臉技術(shù)的濫用也給社會(huì)治安帶來了不良影響，因此，針對(duì)換臉視頻篡改檢測(cè)技術(shù)的研究具有十分重要的意義；

目前所提出的檢測(cè)方法按其使用的技術(shù)基礎(chǔ)大致可分為兩類，一類基于手工特征，另一類基于深度學(xué)習(xí)，基于手工特征的典型方法如將局部特征與全局特征多模態(tài)融合來檢測(cè)篡改，或者利用臉部輪廓與五官姿勢(shì)的不統(tǒng)一來判定真假臉；基于深度學(xué)習(xí)的方法如結(jié)合CNN(Convolutional Neural Networks，卷積神經(jīng)網(wǎng)絡(luò))和LSTM(Long Short-TermMemory，長(zhǎng)短期記憶網(wǎng)絡(luò))提取視頻時(shí)空域特征檢測(cè)是否換臉，或者利用Meso-4和MesoInception-4檢測(cè)換臉，總的來看，目前關(guān)于假臉檢測(cè)的研究工作尚處于起步階段，基于手工特征的方法大多僅對(duì)單幀圖像進(jìn)行分析，較少考慮到圖像幀在時(shí)域上的關(guān)聯(lián)性；基于深度學(xué)習(xí)的方法在庫內(nèi)檢測(cè)效果良好，準(zhǔn)確率通常能達(dá)到90％以上，但跨庫性能下降嚴(yán)重，通用性不強(qiáng)。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)存在的缺陷與不足，本發(fā)明提供一種基于眼動(dòng)特征的換臉視頻篡改檢測(cè)方法及系統(tǒng)，本發(fā)明在充分考慮視頻幀時(shí)域信息的基礎(chǔ)上，提出基于以人眼為代表的面部生物信號(hào)的差異性來檢測(cè)視頻是否發(fā)生篡改，為了描述真實(shí)視頻與換臉視頻在人眼方面的差異，通過定義單眼靈活度和雙眼吻合度來刻畫兩者在時(shí)域和時(shí)空域中眼動(dòng)特征的不同，通過計(jì)算視頻中人眼的單眼靈活度和雙眼吻合度等眼動(dòng)特征來確定視頻真假，利用人眼生物信號(hào)的固有特征進(jìn)行檢測(cè)，提升了檢測(cè)效果，并具有通用性和實(shí)時(shí)性。

為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案：

本發(fā)明提供一種基于眼動(dòng)特征的換臉視頻篡改檢測(cè)方法，包括下述步驟：

逐幀檢測(cè)待測(cè)視頻中的人眼區(qū)域并對(duì)眼部特征點(diǎn)進(jìn)行定位；

根據(jù)眼部特征點(diǎn)預(yù)測(cè)眼球中心位置；

逐幀計(jì)算待測(cè)視頻各幀的視線方向向量；

根據(jù)所述的視線方向向量，計(jì)算待測(cè)視頻各幀的視線變化率序列和視線轉(zhuǎn)移方向序列；

根據(jù)待測(cè)視頻各幀的視線變化率序列計(jì)算單眼靈活度；

根據(jù)待測(cè)視頻雙眼的視線變化率序列計(jì)算雙眼視線變化率吻合度，根據(jù)待測(cè)視頻雙眼的視線轉(zhuǎn)移方向序列計(jì)算雙眼視線轉(zhuǎn)移方向吻合度；

根據(jù)待測(cè)視頻的單眼靈活度、雙眼視線變化率吻合度和雙眼視線轉(zhuǎn)移方向吻合度判斷視頻是否經(jīng)過換臉篡改。

作為優(yōu)選的技術(shù)方案，所述逐幀檢測(cè)待測(cè)視頻中的人眼區(qū)域并對(duì)眼部特征點(diǎn)進(jìn)行定位，具體步驟為：

采用FFmpeg工具包對(duì)待測(cè)視頻進(jìn)行解碼分幀，采用CLNF方法檢測(cè)眼部區(qū)域并定位眼部特征點(diǎn)。

作為優(yōu)選的技術(shù)方案，所述逐幀計(jì)算待測(cè)視頻各幀的視線方向向量，具體步驟為：