[發明專利]一種基于孿生網絡的視頻人像分割算法

在審

• 申請號: 202210759308.9
• 申請日: 2022-06-30
• 公開（公告）號: CN115100409A
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 張笑欽;廖唐飛;趙麗;馮士杰;徐曰旺
• 申請（專利權）人: 溫州大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V20/40;G06V20/70;G06V10/44;G06V10/54;G06V10/62;G06V10/80;G06V10/82;G06N3/04
• 代理公司: 北京陽光天下知識產權代理事務所(普通合伙) 11671
• 代理人: 趙飛

本發明公開了一種基于孿生網絡的視頻人像分割算法,涉及圖像處理技術領域，采用孿生網絡結構，其基本結構包括視頻幀獲取圖像模塊、RGB分離模塊、Encoder網絡模塊、SE模塊、Decoder網絡模塊和JPU模塊；本發明采用深度學習PyTorch框架構建上述模塊，由模型學習視頻處理方法，通過對視頻每幀預測一個精準的alpha蒙版，從給定的圖像或視頻中提取任務，實現在復雜場景下的高分辨率視頻人像分割。

技術領域

本發明涉及圖像處理技術領域，具體涉及一種基于孿生網絡的視頻人像分割算法及其輸送方法。

背景技術

在計算機視覺中，圖像語義分割是計算機視覺的重要研究課題，可被廣泛的應用到各個領域，比如圖像的前景分割，可以針對視頻換背景，將前景人物融入到不同場景中，產生有創意的算法應用。

人像分割的目的是通過預測一個精準的alpha蒙版，可以用來從給定的圖像或者視頻中提取人物。它有廣泛的應用，如照片編輯和電影創作。視頻人像分割算法的目的是通過視頻人像分割算法預測出復雜場景中視頻幀alpha蒙版圖進行前背景分割。目前已經落地的實時高分辨率視頻人像分割算法需要借助綠布才能獲得高質量的預測，而不借助綠布的算法也存在一些問題，如數據集需要三分圖，而獲得三分圖代價也比較大等。

因此，急需對一種基于孿生網絡的視頻人像分割算法解決上述問題。

發明內容

針對現有技術存在的不足，本發明專利的提供一種基于孿生網絡的視頻人像分割算法，該算法能夠在背景復雜、主體形狀復雜等各種環境下，保證視頻人像高精度分割。

為實現上述目的，本發明設計實現一種基于孿生網絡的視頻人像分割算法，通過孿生網絡共享權重、循環神經網絡捕獲時序與空間特征以及聯合上采樣獲得高分辨率alpha蒙版圖。具體提供如下技術方案：一種基于孿生網絡的視頻人像分割算法，采用孿生網絡結構，其基本結構包括視頻幀圖像獲取模塊、RGB分離模塊、Encoder網絡模塊、SE模塊、Decoder網絡模塊和JPU模塊，包括以下步驟：

步驟S1：通過所述視頻幀獲取模塊從待分割視頻獲取當前視頻幀圖像并進行預處理，得到預處理的當前頻幀圖像；

步驟S2：通過所述RGB分離模塊通過將所述得到的預處理視頻幀圖像分離為RGB顏色模式下的三通道RGB視頻幀圖像；

步驟S3：將三通道RGB視頻幀圖像輸入通過所述Encoder網絡模塊，采用MobilenetV3網絡，提取五個三通道RGB視頻幀圖像的多尺度粗粒度特征；

步驟S4：通過所述SE模塊連接所述Encoder網絡模塊和所述Decoder網絡模塊，通過學習到每個通道重要程度，重新標定特征；

步驟S5：通過所述Decoder網絡模塊從所述Encoder網絡模塊、當前視頻幀圖像下采樣以及ConvGRU循環神經網絡得到不同尺度特征，并進行特征融合，捕獲下采樣中損失的邊緣特征、淺層的文理特征以及時序與空間特征，獲得高分辨率的特征圖；

步驟S6：通過所述JPU模塊將從當前視頻幀、當前視頻幀下采樣、Decoder網絡模塊獲得三個不同尺度的特征，在給定相應低分辨率輸出和高分辨率圖像的情況下有效地生成高分辨率特征圖。

進一步地，所述通過所述視頻幀獲取模塊從待分割視頻獲取當前視頻幀圖像并進行預處理，得到預處理的當前頻幀圖像包括：步驟S11：獲取待分割視頻的當前視頻幀圖像；步驟S12：對獲取的當前視頻幀圖像進行預處理。

更進一步地，通過所述視頻幀獲取模塊從待分割視頻獲取當前視頻幀圖像并進行預處理，得到預處理的當前頻幀圖像。