[發(fā)明專利]視頻圖像的處理方法、裝置和終端設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201610697316.X
• 申請(qǐng)日: 2016-08-19
• 公開（公告）號(hào): CN107347166B
• 公開（公告）日: 2020-03-03
• 發(fā)明（設(shè)計(jì)）人: 欒青;石建萍
• 申請(qǐng)（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號(hào): H04N21/431
• 分類號(hào): H04N21/431;H04N21/44
• 代理公司: 北京思源智匯知識(shí)產(chǎn)權(quán)代理有限公司 11657
• 代理人: 毛麗琴

1.一種視頻圖像的處理方法，包括：

獲取待處理的視頻圖像和待展示的業(yè)務(wù)對(duì)象，所述視頻圖像為直播類視頻圖像，所述業(yè)務(wù)對(duì)象包括包含有語(yǔ)義信息的特效；

確定所述視頻圖像的背景區(qū)域，所述背景區(qū)域?yàn)槌巳宋锼诘膮^(qū)域之外的至少局部區(qū)域；

確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置和所述視頻圖像的前景區(qū)域；

根據(jù)所述展示位置判斷所述業(yè)務(wù)對(duì)象與所述視頻圖像的前景區(qū)域是否存在重疊部分；

若存在，則采用計(jì)算機(jī)繪圖方式，在所述背景區(qū)域繪制所述業(yè)務(wù)對(duì)象中除所述重疊部分之外的部分。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述確定所述視頻圖像的背景區(qū)域包括：

通過預(yù)先訓(xùn)練的第一卷積神經(jīng)網(wǎng)絡(luò)模型確定所述視頻圖像的背景區(qū)域。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述對(duì)所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)先訓(xùn)練包括：

獲取第一樣本圖像的第一特征向量，其中，所述第一樣本圖像為包含有前景標(biāo)注信息和背景標(biāo)注信息的樣本圖像；

對(duì)所述第一特征向量進(jìn)行卷積處理，獲取第一特征向量卷積結(jié)果；

對(duì)所述第一特征向量卷積結(jié)果進(jìn)行放大處理；

判斷放大后的所述第一特征向量卷積結(jié)果是否滿足卷積收斂條件；

若滿足，則完成對(duì)所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；

若不滿足，則根據(jù)放大后的所述第一特征向量卷積結(jié)果調(diào)整所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對(duì)所述第一卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的所述第一特征向量卷積結(jié)果滿足所述卷積收斂條件。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置包括：

按照設(shè)定規(guī)則確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置；

其中，所述設(shè)定規(guī)則包括：預(yù)先設(shè)定的所述業(yè)務(wù)對(duì)象在所述視頻圖像的設(shè)定展示位置，或者，根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置包括：

根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，通過預(yù)先訓(xùn)練的、第二卷積神經(jīng)網(wǎng)絡(luò)模型確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述對(duì)所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)先訓(xùn)練包括：

獲取第二樣本圖像的第二特征向量，其中，所述第二特征向量中包含有所述第二樣本圖像中的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息，以及所述第二樣本圖像中目標(biāo)對(duì)象的目標(biāo)對(duì)象特征向量；

對(duì)所述第二特征向量進(jìn)行卷積處理，獲取第二特征向量卷積結(jié)果；

判斷所述第二特征向量卷積結(jié)果中對(duì)應(yīng)的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息是否滿足業(yè)務(wù)對(duì)象收斂條件，并判斷所述第二特征向量卷積結(jié)果中的目標(biāo)對(duì)象特征向量是否滿足目標(biāo)對(duì)象收斂條件；

若均滿足，則完成對(duì)所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；

否則，調(diào)整所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對(duì)所述第二卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息和目標(biāo)對(duì)象特征向量均滿足相應(yīng)的收斂條件。

7.根據(jù)權(quán)利要求4所述的方法，其中，所述根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置包括：

根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)和所述業(yè)務(wù)對(duì)象的類型，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置。

8.根據(jù)權(quán)利要求7所述的方法，其中，所述根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)和所述業(yè)務(wù)對(duì)象的類型，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置包括：

根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)和所述業(yè)務(wù)對(duì)象的類型，獲得所述業(yè)務(wù)對(duì)象在所述視頻圖像中的多個(gè)展示位置；

從所述多個(gè)展示位置中選擇至少一個(gè)展示位置。