[發(fā)明專利]一種基于眼動(dòng)特征的換臉視頻篡改檢測(cè)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911029468.2
• 申請(qǐng)日: 2019-10-28
• 公開（公告）號(hào): CN110826440B
• 公開（公告）日: 2022-05-24
• 發(fā)明（設(shè)計(jì)）人: 胡永健;李猛;劉琲貝;佘惠敏;李紀(jì)成;王宇飛
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06V40/18
• 分類號(hào): G06V40/18;G06V40/40;G06T7/62;G06T7/73
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 李斌

1.一種基于眼動(dòng)特征的換臉視頻篡改檢測(cè)方法，其特征在于，包括下述步驟：

逐幀檢測(cè)待測(cè)視頻中的人眼區(qū)域并對(duì)眼部特征點(diǎn)進(jìn)行定位；

根據(jù)眼部特征點(diǎn)預(yù)測(cè)眼球中心位置；

逐幀計(jì)算待測(cè)視頻各幀的視線方向向量；

根據(jù)所述的視線方向向量，計(jì)算待測(cè)視頻各幀的視線變化率序列和視線轉(zhuǎn)移方向序列；

根據(jù)待測(cè)視頻各幀的視線變化率序列計(jì)算單眼靈活度，具體計(jì)算公式為：

其中，A表示整段視頻眼球的靈活度，vⁱ表示第i幀圖像的視線變化率，表示整段視頻幀視線變化率的均值，n表示視頻的幀數(shù)；

根據(jù)待測(cè)視頻雙眼的視線變化率序列計(jì)算雙眼視線變化率吻合度，根據(jù)待測(cè)視頻雙眼的視線轉(zhuǎn)移方向序列計(jì)算雙眼視線轉(zhuǎn)移方向吻合度；

根據(jù)待測(cè)視頻雙眼的視線變化率序列計(jì)算雙眼視線變化率吻合度，具體計(jì)算公式為：

M_v＝corrV_l，V_r

其中，M_v表示雙眼視線變化率吻合度，V_l，V_r分別表示所有視頻幀左、右眼視線變化率序列，corrV_l，V_r表示V_l與V_r之間的皮爾遜相關(guān)系數(shù)，分別表示第i幀視頻圖像左、右眼視線變化率，分別表示V_l，V_r的均值；

根據(jù)待測(cè)視頻雙眼的視線轉(zhuǎn)移方向序列計(jì)算雙眼視線轉(zhuǎn)移方向吻合度，具體計(jì)算公式為：

M_d＝corrD_l，D_r

其中，M_d表示雙眼視線轉(zhuǎn)移方向吻合度，D_l，D_r分別表示所有視頻幀左、右眼視線轉(zhuǎn)移方向序列，corrD_l，D_r表示D_l與D_r之間的皮爾遜相關(guān)系數(shù)，分別表示第i幀視頻圖像左、右眼視線轉(zhuǎn)移方向，分別表示D_l、D_r的均值；

根據(jù)待測(cè)視頻的單眼靈活度、雙眼視線變化率吻合度和雙眼視線轉(zhuǎn)移方向吻合度判斷視頻是否經(jīng)過換臉篡改。

2.根據(jù)權(quán)利要求1所述的基于眼動(dòng)特征的換臉視頻篡改檢測(cè)方法，其特征在于，所述逐幀檢測(cè)待測(cè)視頻中的人眼區(qū)域并對(duì)眼部特征點(diǎn)進(jìn)行定位，具體步驟為：

采用FFmpeg工具包對(duì)待測(cè)視頻進(jìn)行解碼分幀，采用CLNF方法檢測(cè)眼部區(qū)域并定位眼部特征點(diǎn)。

3.根據(jù)權(quán)利要求1所述的基于眼動(dòng)特征的換臉視頻篡改檢測(cè)方法，其特征在于，所述逐幀計(jì)算待測(cè)視頻各幀的視線方向向量，具體步驟為：

所述眼部特征點(diǎn)包括眼球中心、眼瞼、虹膜和瞳孔，建立以眼球中心為原點(diǎn)的坐標(biāo)系，所述原點(diǎn)到瞳孔坐標(biāo)的射線設(shè)為視線方向，所述原點(diǎn)與瞳孔坐標(biāo)的坐標(biāo)差設(shè)為視線方向向量。

4.根據(jù)權(quán)利要求1所述的基于眼動(dòng)特征的換臉視頻篡改檢測(cè)方法，其特征在于，所述計(jì)算待測(cè)視頻各幀的視線變化率序列和視線轉(zhuǎn)移方向序列，具體步驟為：

計(jì)算前后幀視線方向向量的夾角得到視線變化率，計(jì)算公式為：

其中，依次表示視頻第i幀圖像視線在x，y，z三個(gè)方向上的分量，vⁱ表示視頻第i幀視線變化率，

計(jì)算前后幀眼部特征點(diǎn)中瞳孔的位置在xOy平面上運(yùn)動(dòng)向量與x軸的夾角得到視線轉(zhuǎn)移方向，計(jì)算公式為：

其中，表示視頻第i幀圖像視線方向向量，dⁱ表示視頻第i幀的視線轉(zhuǎn)移方向，sgn(x)表示符號(hào)函數(shù)；

計(jì)算得到各幀的視線變化率序列V＝{vⁱ，i∈[1，N]}，以及各幀的視線轉(zhuǎn)移方向序列D＝{dⁱ，i∈[1，N]}。