[發(fā)明專利]一種基于光流的視頻人臉隱私方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111156587.1
• 申請(qǐng)日: 2021-09-29
• 公開（公告）號(hào): CN113793368A
• 公開（公告）日: 2021-12-14
• 發(fā)明（設(shè)計(jì)）人: 馬兆遠(yuǎn);李康;殷小雷;韓德偉;朱善瑋;徐健;畢東柱;朱旭
• 申請(qǐng)（專利權(quán)）人: 北京朗達(dá)和順科技有限公司
• 主分類號(hào): G06T7/269
• 分類號(hào): G06T7/269;G06K9/00;G06N3/08;G06F21/62
• 代理公司: 南京常青藤知識(shí)產(chǎn)權(quán)代理有限公司 32286
• 代理人: 毛洪梅

1.一種基于光流的視頻人臉隱私方法，其特征在于，包括以下步驟：

S1、在實(shí)時(shí)監(jiān)控視頻中截取兩張連續(xù)的視頻幀；

S2、將連續(xù)兩張視頻幀輸入人臉檢測網(wǎng)絡(luò)中，利用人臉檢測網(wǎng)絡(luò)中預(yù)先訓(xùn)練的光流網(wǎng)絡(luò)模型和人臉檢測模型對(duì)視頻幀中人臉檢測；

S3、檢測輸出人臉位置信息，并將人臉位置區(qū)域的人臉區(qū)域劃分成n×n的子塊；

S4、獲取n×n的子塊內(nèi)第一個(gè)像素點(diǎn)的值，子塊內(nèi)的像素值全部重置為第一個(gè)像素點(diǎn)的值，呈現(xiàn)馬賽克效果遮擋人臉。

2.根據(jù)權(quán)利要求1所述的一種基于光流的視頻人臉隱私方法，其特征在于，所述S2步驟中預(yù)先訓(xùn)練的光流網(wǎng)絡(luò)模型和人臉檢測模型為人臉檢測網(wǎng)絡(luò)的訓(xùn)練階段，所述訓(xùn)練階段包括以下訓(xùn)練步驟：

S21、從實(shí)時(shí)監(jiān)控視頻中截取兩張連續(xù)的視頻幀t和視頻幀t-1；

S22、將視頻幀t-1和視頻幀t同時(shí)輸入光流估計(jì)神經(jīng)網(wǎng)絡(luò)并輸出光流圖，將輸出的光流圖結(jié)合視頻幀t-1進(jìn)行warp操作，生成視頻幀t’；

S23、將視頻幀t’和視頻幀t按通道拼接成6通道數(shù)據(jù)且所述6通道數(shù)據(jù)包括時(shí)間空間特征數(shù)據(jù)，并將6通道數(shù)據(jù)輸入人臉檢測神經(jīng)網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求2所述的一種基于光流的視頻人臉隱私方法，其特征在于，連續(xù)所述視頻幀輸入光流估計(jì)神經(jīng)網(wǎng)絡(luò)，將視頻幀t-1通過光流與視頻幀t進(jìn)行空間對(duì)齊，并一同送至人臉檢測神經(jīng)網(wǎng)絡(luò)并輸出人臉位置，人臉位置選取人臉矩形框的左上點(diǎn)坐標(biāo)和右下點(diǎn)坐標(biāo)。

4.根據(jù)權(quán)利要求3所述的一種基于光流的視頻人臉隱私方法，其特征在于，光流估計(jì)網(wǎng)絡(luò)估計(jì)的光流圖表示視頻幀t-1和視頻幀t內(nèi)有位置變化區(qū)域的偏移量，即視頻幀t’數(shù)據(jù)使用視頻幀t-1內(nèi)的數(shù)據(jù)且視頻幀t’位置已偏移到視頻幀t的位置。

5.根據(jù)權(quán)利要求2所述的一種基于光流的視頻人臉隱私方法，其特征在于，所述訓(xùn)練階段的過程需要設(shè)計(jì)損失函數(shù)，所述損失函數(shù)包括均方誤差損失函數(shù)和交叉熵?fù)p失函數(shù)，所述均方誤差損失函數(shù)用于計(jì)算視頻幀t’和視頻幀t的損失值，所述交叉熵?fù)p失函數(shù)用于計(jì)算人臉檢測損失值，所述損失函數(shù)具體公式為：

loss＝loss₁+α*loss₂

其中，α為超參用來平衡兩個(gè)loss的權(quán)重。

6.根據(jù)權(quán)利要求5所述的一種基于光流的視頻人臉隱私方法，其特征在于，所述均方誤差損失函數(shù)即MSEloss函數(shù)，具體函數(shù)公式如下：

loss₁＝MSE(I_t，warp(I_t-1，f_θ(I_t，I_t-1)))

其中，f_θ表示光流估計(jì)神經(jīng)網(wǎng)絡(luò)，I表示視頻幀。

7.根據(jù)權(quán)利要求5所述的一種基于光流的視頻人臉隱私方法，其特征在于，人臉檢測loss函數(shù)包括所述交叉熵?fù)p失函數(shù)，所述人臉損失loss函數(shù)具體公式如下：

x＝concat(I_t，warp(I_t-1，f_θ(I_t，I_t-1)))

loss₂＝CrossEntropy(y，g_ψ(x))

其中y為視頻幀t的標(biāo)注。

8.根據(jù)權(quán)利要求5所述的一種基于光流的視頻人臉隱私方法，其特征在于，利用所述損失函數(shù)訓(xùn)練減小視頻幀t’相對(duì)于視頻幀t的損失值，即使得視頻幀t’與視頻幀t相似度提高。

9.根據(jù)權(quán)利要求7所述的一種基于光流的視頻人臉隱私方法，其特征在于，利用所述交叉熵?fù)p失函數(shù)訓(xùn)練減小視頻幀t人臉損失值，即使得預(yù)測人臉位置和標(biāo)注信息y相似度提高。

10.一種使用如權(quán)利要求1所述的視頻人臉隱私方法的訓(xùn)練系統(tǒng)，其特征在于，包括：

光流估計(jì)模塊，將相鄰兩幀視頻幀輸入光流估計(jì)網(wǎng)絡(luò)，從光流估計(jì)神經(jīng)網(wǎng)絡(luò)輸出實(shí)時(shí)光流；

warp模塊，用于根據(jù)實(shí)時(shí)光流進(jìn)行warp操作得到預(yù)測視頻幀；

concat模塊，用于將預(yù)測視頻幀和視頻幀樣本通道數(shù)據(jù)拼接；

人臉檢測模塊，用于從對(duì)齊的時(shí)間空間圖像信息中檢測人臉；

訓(xùn)練loss模塊，用于訓(xùn)練光流估計(jì)網(wǎng)絡(luò)并提高預(yù)測視頻幀t’與視頻幀t的對(duì)齊程度，還用于端到端的訓(xùn)練網(wǎng)絡(luò)以實(shí)現(xiàn)利用光流提高人臉檢測效果。