[發(fā)明專利]數(shù)據(jù)處理方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811149827.3
• 申請(qǐng)日: 2018-09-29
• 公開（公告）號(hào): CN109389072B
• 公開（公告）日: 2022-03-08
• 發(fā)明（設(shè)計(jì)）人: 胡耀全
• 申請(qǐng)（專利權(quán)）人: 北京字節(jié)跳動(dòng)網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京天達(dá)共和律師事務(wù)所 11798
• 代理人: 胡劍煒;劉德旺

本申請(qǐng)實(shí)施例公開了數(shù)據(jù)處理方法和裝置。該方法的一具體實(shí)施方式包括：將目標(biāo)視頻中相鄰的兩個(gè)視頻幀分別輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，生成該相鄰的兩個(gè)視頻幀的關(guān)鍵點(diǎn)；利用光流算法，基于該相鄰兩個(gè)視頻幀中的前一視頻幀及其關(guān)鍵點(diǎn)，預(yù)測(cè)該相鄰的兩個(gè)視頻幀中的后一視頻幀的關(guān)鍵點(diǎn)；基于預(yù)設(shè)的損失函數(shù)，確定所預(yù)測(cè)的關(guān)鍵點(diǎn)和對(duì)該后一視頻幀檢測(cè)到的關(guān)鍵點(diǎn)之間的損失值；基于該損失值訓(xùn)練該卷積神經(jīng)網(wǎng)絡(luò)，得到訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)。本申請(qǐng)實(shí)施例能夠通過光流算法預(yù)測(cè)到的關(guān)鍵點(diǎn)與檢測(cè)到的關(guān)鍵點(diǎn)的損失值，來訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，以使卷積神經(jīng)網(wǎng)絡(luò)能夠更準(zhǔn)確地檢測(cè)到關(guān)鍵點(diǎn)。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及數(shù)據(jù)處理方法和裝置。

背景技術(shù)

檢測(cè)圖像中目標(biāo)的關(guān)鍵點(diǎn)通常采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行，基于檢測(cè)到的關(guān)鍵點(diǎn)，可以對(duì)視頻幀加入各種各樣的特效。如果檢測(cè)得到的關(guān)鍵點(diǎn)不準(zhǔn)確，則會(huì)對(duì)呈現(xiàn)的特效造成影響。比如，在某個(gè)呈現(xiàn)人臉的視頻中，相鄰視頻幀之間某一幀檢測(cè)的偏差較大，在加入特效后會(huì)呈現(xiàn)出面部的抽搐。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提出了數(shù)據(jù)處理方法和裝置。

第一方面，本申請(qǐng)實(shí)施例提供了1、一種數(shù)據(jù)處理方法，包括：

將目標(biāo)視頻中相鄰的兩個(gè)視頻幀分別輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，生成相鄰的兩個(gè)視頻幀的關(guān)鍵點(diǎn)；利用光流算法，基于相鄰兩個(gè)視頻幀中的前一視頻幀及其關(guān)鍵點(diǎn)，預(yù)測(cè)相鄰的兩個(gè)視頻幀中的后一視頻幀的關(guān)鍵點(diǎn)；基于預(yù)設(shè)的損失函數(shù)，確定所預(yù)測(cè)的關(guān)鍵點(diǎn)和對(duì)后一視頻幀檢測(cè)到的關(guān)鍵點(diǎn)之間的損失值；基于損失值訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，得到訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)。

在一些實(shí)施例中，光流算法包括空間變換網(wǎng)絡(luò)。

在一些實(shí)施例中，將目標(biāo)視頻中相鄰的兩個(gè)視頻分別輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，生成相鄰的兩個(gè)視頻幀的關(guān)鍵點(diǎn)，包括：將相鄰的兩個(gè)視頻幀分別輸入卷積神經(jīng)網(wǎng)絡(luò)，基于卷積神經(jīng)網(wǎng)絡(luò)的卷積層，得到相鄰的兩個(gè)視頻幀中每個(gè)視頻幀的特征圖像；對(duì)所得到的特征圖像進(jìn)行積分回歸，得到相鄰的兩個(gè)視頻幀的關(guān)鍵點(diǎn)。

在一些實(shí)施例中，基于損失值訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，包括：利用光流算法，基于后一視頻幀和對(duì)后一視頻幀的關(guān)鍵點(diǎn)，確定前一視頻幀的關(guān)鍵點(diǎn)；確定所確定的前一視頻幀的關(guān)鍵點(diǎn)和對(duì)前一視頻幀檢測(cè)到的關(guān)鍵點(diǎn)的距離，響應(yīng)于確定距離小于距離閾值，利用損失值進(jìn)行反向傳播，以調(diào)整卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)。

在一些實(shí)施例中，在基于損失值訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，得到訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)之后，方法還包括：獲取目標(biāo)圖像，將目標(biāo)圖像輸入訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)，以對(duì)目標(biāo)圖像進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，生成目標(biāo)圖像的關(guān)鍵點(diǎn)。

第二方面，本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)處理裝置，包括：輸入單元，被配置成將目標(biāo)視頻中相鄰的兩個(gè)視頻幀分別輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，生成相鄰的兩個(gè)視頻幀的關(guān)鍵點(diǎn)；預(yù)測(cè)單元，被配置成利用光流算法，基于相鄰兩個(gè)視頻幀中的前一視頻幀及其關(guān)鍵點(diǎn)，預(yù)測(cè)相鄰的兩個(gè)視頻幀中的后一視頻幀的關(guān)鍵點(diǎn)；確定單元，被配置成基于預(yù)設(shè)的損失函數(shù)，確定所預(yù)測(cè)的關(guān)鍵點(diǎn)和對(duì)后一視頻幀檢測(cè)到的關(guān)鍵點(diǎn)之間的損失值；訓(xùn)練單元，被配置成基于損失值訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，得到訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)。

在一些實(shí)施例中，光流算法包括空間變換網(wǎng)絡(luò)。

在一些實(shí)施例中，輸入單元，進(jìn)一步被配置成：將相鄰的兩個(gè)視頻幀分別輸入卷積神經(jīng)網(wǎng)絡(luò)，基于卷積神經(jīng)網(wǎng)絡(luò)的卷積層，得到相鄰的兩個(gè)視頻幀中每個(gè)視頻幀的特征圖像；對(duì)所得到的特征圖像進(jìn)行積分回歸，得到相鄰的兩個(gè)視頻幀的關(guān)鍵點(diǎn)。

在一些實(shí)施例中，訓(xùn)練單元，進(jìn)一步被配置成：利用光流算法，基于后一視頻幀和對(duì)后一視頻幀的關(guān)鍵點(diǎn)，確定前一視頻幀的關(guān)鍵點(diǎn)；確定所確定的前一視頻幀的關(guān)鍵點(diǎn)和對(duì)前一視頻幀檢測(cè)到的關(guān)鍵點(diǎn)的距離，響應(yīng)于確定距離小于距離閾值，利用損失值進(jìn)行反向傳播，以調(diào)整卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)。