[發(fā)明專利]圖像處理方法、裝置、設(shè)備及介質(zhì)

有效

• 申請?zhí)枺?/td>: 201810786116.0
• 申請日: 2018-07-17
• 公開（公告）號: CN109034032B
• 公開（公告）日: 2022-01-11
• 發(fā)明（設(shè)計）人: 張無名;陳飛;楊松帆;黃琰;張邦鑫
• 申請（專利權(quán)）人: 北京世紀(jì)好未來教育科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G11B27/02
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 王茂華;蘇耿輝

1.一種圖像處理方法，包括：

分別從備選視頻和目標(biāo)視頻中獲取各自對應(yīng)的備選圖像和目標(biāo)圖像，其中所述備選視頻是由講話者錄制的；

確定所述備選圖像中所述講話者覆蓋嘴型區(qū)域的備選區(qū)域，以及確定所述目標(biāo)圖像中所述講話者覆蓋嘴型區(qū)域的目標(biāo)區(qū)域；

將所述備選區(qū)域縮放至所述目標(biāo)區(qū)域的大小；以及

使用經(jīng)縮放的所述備選區(qū)域替換所述目標(biāo)區(qū)域，

其中確定覆蓋所述備選圖像中的所述講話者的嘴型的備選區(qū)域包括：

獲取描述所述講話者的面部特征的多個關(guān)鍵點(diǎn)；以及

基于所述多個關(guān)鍵點(diǎn)中的最左關(guān)鍵點(diǎn)、最右關(guān)鍵點(diǎn)和最下關(guān)鍵點(diǎn)，確定給定備選圖像中的所述講話者的覆蓋嘴型區(qū)域的備選區(qū)域。

2.根據(jù)權(quán)利要求1所述的方法，其中確定所述備選區(qū)域包括：

基于所述最左關(guān)鍵點(diǎn)和所述最下關(guān)鍵點(diǎn)確定左替換區(qū)域；

基于所述最右關(guān)鍵點(diǎn)和所述最下關(guān)鍵點(diǎn)確定右替換區(qū)域；以及

基于所述左替換區(qū)域和所述右替換區(qū)域確定所述備選區(qū)域。

3.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括：

在所述最左關(guān)鍵點(diǎn)附近的預(yù)定范圍內(nèi)，沿著所述備選圖像的橫坐標(biāo)的方向選擇一組候選點(diǎn)；

獲得所述一組候選點(diǎn)中的每個候選點(diǎn)的像素值與所述候選點(diǎn)周圍點(diǎn)像素值之間的梯度值；以及

選擇梯度值高于其他候選點(diǎn)的梯度值的候選點(diǎn)，基于所選擇的候選點(diǎn)更新所述最左關(guān)鍵點(diǎn)；

在所述最右關(guān)鍵點(diǎn)附近的預(yù)定范圍內(nèi)，沿著所述備選圖像的橫坐標(biāo)的方向選擇另一組候選點(diǎn)；

確定所述另一組候選點(diǎn)中的每個候選點(diǎn)的像素值與所述候選點(diǎn)周圍點(diǎn)的像素值之間的梯度值；以及

選擇梯度值高于其他候選點(diǎn)的梯度值的候選點(diǎn)，基于所選擇的候選點(diǎn)更新所述最右關(guān)鍵點(diǎn)。

4.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括：

在所述最下關(guān)鍵點(diǎn)附近的預(yù)定范圍內(nèi)，沿著所述備選圖像的縱坐標(biāo)的方向選擇一組候選點(diǎn)；

確定所述一組候選點(diǎn)中的每個候選點(diǎn)的像素值與所述候選點(diǎn)周圍點(diǎn)的像素值之間的梯度值；以及

選擇梯度值高于其他候選點(diǎn)的梯度值的候選點(diǎn)，基于所選擇的候選點(diǎn)更新所述最下關(guān)鍵點(diǎn)。

5.根據(jù)權(quán)利要求1所述的方法，其中

確定覆蓋一組目標(biāo)圖像中的所述講話者的嘴型的一組目標(biāo)區(qū)域包括：在所述一組目標(biāo)圖像中的給定目標(biāo)圖像中，

獲取描述所述講話者的面部特征的多個關(guān)鍵點(diǎn)；以及

基于所述多個關(guān)鍵點(diǎn)中的最左關(guān)鍵點(diǎn)、最右關(guān)鍵點(diǎn)和最下關(guān)鍵點(diǎn)，確定覆蓋所述給定目標(biāo)圖像中的所述講話者的嘴型的目標(biāo)區(qū)域。

6.根據(jù)權(quán)利要求1所述的方法，其中從所述目標(biāo)視頻獲取目標(biāo)圖像包括：

基于替換請求所指定的待替換片段在所述目標(biāo)視頻中的位置，確定一組目標(biāo)圖像。

7.根據(jù)權(quán)利要求1所述的方法，還包括使用所述備選視頻中的與所述備選圖像相關(guān)聯(lián)音頻內(nèi)容替換所述目標(biāo)視頻中的與所述目標(biāo)圖像相關(guān)聯(lián)的音頻內(nèi)容。

8.一種圖像處理裝置，包括：

圖像獲取模塊，被配置為分別從備選視頻和目標(biāo)視頻中獲取各自對應(yīng)的備選圖像和目標(biāo)圖像，其中所述備選視頻是由講話者錄制的；

區(qū)域確定模塊，被配置為確定所述備選圖像中所述講話者覆蓋嘴型區(qū)域的備選區(qū)域，以及確定所述目標(biāo)圖像中所述講話者覆蓋嘴型區(qū)域的目標(biāo)區(qū)域；

縮放模塊，被配置為將所述備選區(qū)域縮放至所述目標(biāo)區(qū)域的大小；以及

區(qū)域替換模塊，被配置為使用經(jīng)縮放的所述備選區(qū)域替換所述目標(biāo)區(qū)域，

其中所述區(qū)域確定模塊還被配置為：

獲取描述所述講話者的面部特征的多個關(guān)鍵點(diǎn)；以及

基于所述多個關(guān)鍵點(diǎn)中的最左關(guān)鍵點(diǎn)、最右關(guān)鍵點(diǎn)和最下關(guān)鍵點(diǎn)，確定給定備選圖像中的所述講話者的覆蓋嘴型區(qū)域的備選區(qū)域。