[發(fā)明專利]視頻圖像的處理方法、裝置和終端設備

有效

• 申請?zhí)枺?/td>: 201610694601.6
• 申請日: 2016-08-19
• 公開（公告）號: CN107347125B
• 公開（公告）日: 2020-04-03
• 發(fā)明（設計）人: 欒青;石建萍
• 申請（專利權）人: 北京市商湯科技開發(fā)有限公司
• 主分類號: H04N5/222
• 分類號: H04N5/222;H04N21/431;G06K9/62;G06T11/40
• 代理公司: 北京派特恩知識產(chǎn)權代理有限公司 11270
• 代理人: 崔曉嵐;張穎玲

1.一種視頻圖像的處理方法，包括：

主播設備本地獲取直播類視頻，檢測直播類視頻包括的多幀視頻圖像中各幀視頻圖像的背景區(qū)域，每幀所述視頻圖像的背景區(qū)域包括該幀視頻圖像中除了主播圖像之外的全部區(qū)域；

確定待顯示的目標特效，所述目標特效和所述視頻圖像中主播介紹的內(nèi)容具有相關性；

采用計算機繪圖方式在確定出的背景區(qū)域繪制所述目標特效，以使所述目標特效替換所述視頻圖像中的背景區(qū)域的原始內(nèi)容；

向其他設備發(fā)送確定的所述背景區(qū)域未繪制所述目標特效的直播類視頻和確定的所述目標特效的屬性信息，以供所述其他設備采用計算機繪圖方式在確定出的背景區(qū)域繪制所述屬性信息對應的目標特效，所述目標特效替換所述視頻圖像中的背景區(qū)域的原始內(nèi)容。

2.根據(jù)權利要求1所述的方法，其中，所述檢測視頻圖像中的背景區(qū)域包括：

通過預先訓練的卷積神經(jīng)網(wǎng)絡模型檢測所述視頻圖像的背景區(qū)域。

3.根據(jù)權利要求2所述的方法，其中，所述對所述卷積神經(jīng)網(wǎng)絡模型的預先訓練包括：

獲取待訓練的樣本圖像的特征向量，其中，所述樣本圖像為包含有前景標注信息和背景標注信息的樣本圖像；

對所述特征向量進行卷積處理，獲取特征向量卷積結果；

對所述特征向量卷積結果進行放大處理；

判斷放大后的所述特征向量卷積結果是否滿足收斂條件；

若滿足，則完成對所述卷積神經(jīng)網(wǎng)絡模型的訓練；

若不滿足，則根據(jù)放大后的所述特征向量卷積結果調(diào)整所述卷積神經(jīng)網(wǎng)絡模型的參數(shù)并根據(jù)調(diào)整后的所述卷積神經(jīng)網(wǎng)絡模型的參數(shù)對所述卷積神經(jīng)網(wǎng)絡模型進行迭代訓練，直至迭代訓練后的特征向量卷積結果滿足所述收斂條件。

4.根據(jù)權利要求3所述的方法，其中，對所述特征向量卷積結果進行放大處理包括：

通過對所述特征向量卷積結果進行雙線性插值，放大所述特征向量卷積結果。

5.根據(jù)權利要求3所述的方法，其中，對所述特征向量卷積結果進行放大處理包括：

將所述特征向量卷積結果放大到放大后的特征向量卷積結果對應的圖像的大小與原始圖像大小一致。

6.根據(jù)權利要求3所述的方法，其中，判斷放大后的所述特征向量卷積結果是否滿足收斂條件包括：

使用設定的損失函數(shù)計算放大后的所述特征向量卷積結果和預定的標準輸出特征向量的損失值；

根據(jù)所述損失值判斷放大后的所述特征向量卷積結果是否滿足收斂條件。

7.根據(jù)權利要求3所述的方法，其中，所述方法還包括：

獲取測試樣本圖像，使用訓練后的所述卷積神經(jīng)網(wǎng)絡模型對所述測試樣本圖像進行前背景區(qū)域的預測；

檢驗預測的前背景區(qū)域是否正確；

若不正確，則使用所述測試樣本圖像對所述卷積神經(jīng)網(wǎng)絡模型進行再次訓練。

8.根據(jù)權利要求7所述的方法，其中，所述使用所述測試樣本圖像對所述卷積神經(jīng)網(wǎng)絡模型進行再次訓練包括：

從所述測試樣本圖像中獲取前背景區(qū)域預測不正確的樣本圖像；

使用預測不正確的樣本圖像對所述卷積神經(jīng)網(wǎng)絡模型進行再次訓練，其中，對所述卷積神經(jīng)網(wǎng)絡模型進行再次訓練的所述預測不正確的樣本圖像包含有前景信息和背景信息。

9.根據(jù)權利要求3所述的方法，其中，所述獲取待訓練的樣本圖像的特征向量之前，所述方法還包括：

將包括多幀樣本圖像的視頻流輸入所述卷積神經(jīng)網(wǎng)絡模型。

10.根據(jù)權利要求9所述的方法，其中，所述將包括多幀樣本圖像的視頻流輸入所述卷積神經(jīng)網(wǎng)絡模型之前，所述方法還包括：

確定所述視頻流的多個關鍵幀的圖像為樣本圖像，對所述樣本圖像進行前景區(qū)域和背景區(qū)域的標注。

11.根據(jù)權利要求2所述的方法，其中，所述卷積神經(jīng)網(wǎng)絡模型為全卷積神經(jīng)網(wǎng)絡模型。