[發明專利]一種視頻幀圖像分割方法、裝置、電子設備及存儲介質

在審

• 申請號: 201911025928.4
• 申請日: 2019-10-25
• 公開（公告）號: CN110782469A
• 公開（公告）日: 2020-02-11
• 發明（設計）人: 郭益林;趙松濤;宋叢禮
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06T5/00
• 代理公司: 11413 北京柏杉松知識產權代理事務所(普通合伙)
• 代理人: 丁蕓;馬敬

本申請關于一種視頻幀圖像分割方法、裝置、電子設備及存儲介質，該方法包括：獲取待處理視頻幀的上一視頻幀與上一視頻幀的語義分割結果；對上一視頻幀的語義分割結果進行邊界模糊處理，得到模糊后的邊界圖像；將待處理視頻幀、模糊后的邊界圖像、上一視頻幀輸入到預先訓練的網絡模型中，得到待處理視頻幀的語義分割結果。根據本申請的技術方案，實現通過視頻幀的上一幀圖像對待處理視頻幀的語義分割過程進行指導，并通過對上一幀圖像的語義分割結果的邊界進行模糊處理，可以避免上一幀圖像的語義分割結果的錯誤對下一陣圖像的影響，提高上述語義分割過程的準確性。

技術領域

本申請涉及圖像處理技術領域，特別是涉及一種視頻幀圖像分割方法、裝置、電子設備及存儲介質。

背景技術

目前，語義分割作為短視頻應用和拍照圖片編輯應用中的常見算法，在短視頻編輯和圖像編輯中有著廣泛的應用。例如，通過語義分割可以進行人體摳像、頭發分割、場景分割等，為背景替換或者特效制作提供區域信息。而在對視頻幀圖像進行語音分割時，通過將前一幀圖像的語義分割結果作為下一幀圖像語義分割的指導，有助于提高語義分割的精度。

然而，在視頻圖像中，由于前后連續兩幀的圖像變化很小，直接利用上一幀的語義分割結果，作為下一幀圖像語義分割的指導，可能存在上一幀圖像的語義分割錯誤或存在誤差的情況，從而會對下一幀圖像的語義分割造成誤導，導致語義分割的延遲以及錯誤的累積。

發明內容

本申請實施例的目的在于提供一種視頻幀圖像分割方法、裝置、電子設備及存儲介質，以實現如何解決上一幀圖像的分割錯誤下一幀圖像的語音分割的影響。具體技術方案如下：

根據本公開實施例的第一方面，提供一種視頻幀圖像分割方法，包括：

獲取待處理視頻幀的上一視頻幀與上一視頻幀的語義分割結果；

對上一視頻幀的語義分割結果進行邊界模糊處理，得到模糊后的邊界圖像；

將待處理視頻幀、模糊后的邊界圖像、上一視頻幀輸入到預先訓練的網絡模型中，得到待處理視頻幀的語義分割結果。

可選的，預先訓練的網絡模型的訓練方法包括：

步驟A，獲取待處理視頻幀的上一幀圖像與上一幀圖像的語義分割結果，其中，待處理視頻幀標記有標準語義分割結果；

步驟B，對上一幀圖像的語義分割結果進行邊界模糊處理，得到模糊處理后的目標模糊邊界圖像；

步驟C，將目標模糊邊界圖像、上一幀圖像、待處理視頻幀輸入到網絡模型中得到待處理視頻幀的語義分割結果；

步驟D，計算待處理視頻幀的語義分割結果與標準語義分割結果的誤差；

步驟E，根據誤差，判斷網絡模型是否收斂，若網絡模型收斂，得到訓練好的網絡模型，若網絡模型沒有收斂，調整網絡模型的參數繼續對網絡模型進行訓練直至收斂。

可選的，對上一視頻幀的語義分割結果進行邊界模糊處理，得到模糊后的邊界圖像，包括：

對上一視頻幀的語義分割結果的邊界擴大為預設像素寬度，得到模糊后的邊界圖像。

可選的，對上一視頻幀的語義分割結果的邊界擴大為預設像素寬度，得到模糊后的邊界圖像，包括：

對上一視頻幀的語義分割結果的邊界向內擴大預設像素寬度，得到模糊后的邊界圖像；

或，對上一視頻幀的語義分割結果的邊界向外擴大預設像素寬度，得到模糊后的邊界圖像；

或，對上一視頻幀的語義分割結果的邊界向內擴大第一像素寬度，向外擴大第二像素寬度，得到模糊后的邊界圖像，其中，第一像素寬度與第二像素寬度的和為預設像素寬度。