[發明專利]一種視頻幀圖像分割方法、裝置、電子設備及存儲介質

在審

• 申請號: 201911025928.4
• 申請日: 2019-10-25
• 公開（公告）號: CN110782469A
• 公開（公告）日: 2020-02-11
• 發明（設計）人: 郭益林;趙松濤;宋叢禮
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06T5/00
• 代理公司: 11413 北京柏杉松知識產權代理事務所(普通合伙)
• 代理人: 丁蕓;馬敬

1.一種視頻幀圖像分割方法，其特征在于，包括：

獲取待處理視頻幀的上一視頻幀與所述上一視頻幀的語義分割結果；

對所述上一視頻幀的語義分割結果進行邊界模糊處理，得到模糊后的邊界圖像；

將所述待處理視頻幀、所述模糊后的邊界圖像、所述上一視頻幀輸入到預先訓練的網絡模型中，得到所述待處理視頻幀的語義分割結果。

2.根據權利要求1所述的方法，其特征在于，所述預先訓練的網絡模型的訓練方法包括：

步驟A，獲取待處理視頻幀的上一幀圖像與所述上一幀圖像的語義分割結果，其中，所述待處理視頻幀標記有標準語義分割結果；

步驟B，對所述上一幀圖像的語義分割結果進行邊界模糊處理，得到模糊處理后的目標模糊邊界圖像；

步驟C，將所述目標模糊邊界圖像、所述上一幀圖像、所述待處理視頻幀輸入到網絡模型中得到所述待處理視頻幀的語義分割結果；

步驟D，計算所述待處理視頻幀的語義分割結果與所述標準語義分割結果的誤差；

步驟E，根據所述誤差，判斷所述網絡模型是否收斂，若所述網絡模型收斂，得到訓練好的網絡模型，若所述網絡模型沒有收斂，調整所述網絡模型的參數繼續對所述網絡模型進行訓練直至收斂。

3.根據權利要求1所述的方法，其特征在于，所述對所述上一視頻幀的語義分割結果進行邊界模糊處理，得到模糊后的邊界圖像，包括：

對所述上一視頻幀的語義分割結果的邊界擴大為預設像素寬度，得到模糊后的邊界圖像。

4.根據權利要求3所述的方法，其特征在于，所述對所述上一視頻幀的語義分割結果的邊界擴大為預設像素寬度，得到模糊后的邊界圖像，包括：

對所述上一視頻幀的語義分割結果的邊界向內擴大預設像素寬度，得到模糊后的邊界圖像；

或，對所述上一視頻幀的語義分割結果的邊界向外擴大預設像素寬度，得到模糊后的邊界圖像；

或，對所述上一視頻幀的語義分割結果的邊界向內擴大第一像素寬度，向外擴大第二像素寬度，得到模糊后的邊界圖像，其中，所述第一像素寬度與所述第二像素寬度的和為所述預設像素寬度。

5.根據權利要求1所述的方法，其特征在于，所述將所述待處理視頻幀、所述模糊后的邊界圖像、所述上一視頻幀輸入到預先訓練的網絡模型中，得到所述待處理視頻幀的語義分割結果之前，所述方法還包括：

根據所述待處理視頻幀、所述模糊后的邊界、所述上一視頻幀，將所述待處理視頻幀與所述上一視頻幀進行數據預處理，其中，經過數據預處理后的所述待處理視頻幀與所述上一視頻幀之間的差異增大。

6.根據權利要求5所述的方法，其特征在于，所述數據預處理包括：位移變化、尺度變化、旋轉變化、薄板樣條變化中的一種或多種。

7.根據權利要求1所述的方法，其特征在于，所述將所述待處理視頻幀、所述模糊后的邊界圖像、所述上一視頻幀輸入到預先訓練的網絡模型中，得到所述待處理視頻幀的語義分割結果之后，所述方法還包括：

根據所述語義分割結果確定所述待處理視頻幀中的前景目標及所述前景目標的位置；

按照所述前景目標的位置，將所述前景目標添加到預設背景圖像中的相應位置，得到替換后的視頻幀。

8.一種視頻幀圖像分割裝置，其特征在于，包括：

結果獲取模塊，用于獲取待處理視頻幀的上一視頻幀與所述上一視頻幀的語義分割結果；

模糊處理模塊，用于對所述上一視頻幀的語義分割結果進行邊界模糊處理，得到模糊后的邊界圖像；

網絡模型模塊，用于將所述待處理視頻幀、所述模糊后的邊界圖像、所述上一視頻幀輸入到預先訓練的網絡模型中，得到所述待處理視頻幀的語義分割結果。

9.一種電子設備，其特征在于，包括：

處理器；

用于存儲所述處理器可執行指令的存儲器；

其中，所述處理器被配置為執行所述指令，以實現如權利要求1至7中任一項所述的視頻幀圖像分割方法。

10.一種存儲介質，當所述存儲介質中的指令由電子設備的處理器執行時，使得所述電子設備能夠執行如權利要求1至7中任一項所述的視頻幀圖像分割方法。