[發明專利]圖像前背景分割及網絡模型訓練、圖像處理方法和裝置

有效

• 申請號: 201610694814.9
• 申請日: 2016-08-19
• 公開（公告）號: CN107341805B
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 石建萍;欒青
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/136;G06T7/194
• 代理公司: 北京天健君律專利代理事務所(普通合伙) 11461
• 代理人: 羅延紅;紀烈超

1.一種圖像分割網絡模型的訓練方法，包括：

獲取待訓練的樣本圖像的特征向量，其中，所述樣本圖像為包含有前景標注信息和背景標注信息的樣本圖像；

對所述特征向量進行卷積處理，獲取特征向量卷積結果；

對所述特征向量卷積結果進行放大處理；

判斷放大后的所述特征向量卷積結果是否滿足收斂條件；

若滿足，則完成對用于分割圖像前景和背景的卷積神經網絡模型的訓練；

若不滿足，則根據放大后的所述特征向量卷積結果調整所述卷積神經網絡模型的參數并根據調整后的所述卷積神經網絡模型的參數對所述卷積神經網絡模型進行迭代訓練，直至迭代訓練后的特征向量卷積結果滿足所述收斂條件。

2.根據權利要求1所述的方法，其中，對所述特征向量卷積結果進行放大處理包括：

通過對所述特征向量卷積結果進行雙線性插值，放大所述特征向量卷積結果。

3.根據權利要求1所述的方法，其中，對所述特征向量卷積結果進行放大處理包括：

將所述特征向量卷積結果放大到放大后的特征向量卷積結果對應的圖像的大小與原始圖像大小一致。

4.根據權利要求1-3任一項所述的方法，其中，判斷放大后的所述特征向量卷積結果是否滿足收斂條件包括：

使用設定的損失函數計算放大后的所述特征向量卷積結果和預定的標準輸出特征向量的損失值；

根據所述損失值判斷放大后的所述特征向量卷積結果是否滿足收斂條件。

5.根據權利要求1-3任一項所述的方法，其中，所述方法還包括：

獲取測試樣本圖像，使用訓練后的所述卷積神經網絡模型對所述測試樣本圖像進行前景區域和背景區域的預測；

檢驗預測的前景區域和背景區域是否正確；

若不正確，則使用所述測試樣本圖像對所述卷積神經網絡模型進行再次訓練。

6.根據權利要求5所述的方法，其中，使用所述測試樣本圖像對所述卷積神經網絡模型進行再次訓練，包括：

從所述測試樣本圖像中獲取前景區域和背景區域預測不正確的樣本圖像；

使用預測不正確的樣本圖像對所述卷積神經網絡模型進行再次訓練，其中，對所述卷積神經網絡模型進行再次訓練的所述預測不正確的樣本圖像包含有前景信息和背景信息。

7.根據權利要求1-3任一項所述的方法，其中，獲取待訓練的樣本圖像的特征向量之前，還包括：將包括多幀樣本圖像的視頻流輸入所述卷積神經網絡模型。

8.根據權利要求7所述的方法，其中，將包括多幀樣本圖像的視頻流輸入所述卷積神經網絡模型之前，還包括：

確定所述視頻流的多個關鍵幀的圖像為樣本圖像，對所述樣本圖像進行前景區域和背景區域的標注。

9.根據權利要求1-3任一項所述的方法，其中，所述卷積神經網絡模型為全卷積神經網絡模型。

10.一種圖像分割方法，包括：

獲取待檢測的圖像，其中，所述圖像包括靜態圖像或視頻中的圖像；

采用卷積神經網絡模型檢測圖像，獲得所述圖像的前景區域的預測信息和背景區域的預測信息；

其中，所述卷積神經網絡采用如權利要求1-9任一所述的方法訓練而得的卷積神經網絡模型。

11.根據權利要求10所述的方法，其中，所述視頻中的圖像為直播類視頻中的圖像。

12.根據權利要求10或11所述的方法，其中，所述待檢測的圖像包括視頻流中的多幀圖像。