[發明專利]輕量級視頻語義分割方法、系統、設備及存儲介質

在審

• 申請號: 202210068739.0
• 申請日: 2022-01-20
• 公開（公告）號: CN114429603A
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 王子磊;莊嘉帆
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/26;G06N3/04;G06N3/08
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

本發明公開了一種輕量級視頻語義分割方法、系統、設備及存儲介質，利用圖像域與特征域共享扭曲模式的特性，將關鍵幀圖像與語義特征進行聯合傳播，并設計了扭曲感知網絡，通過對傳播幀與當前幀進行對比識別扭曲區域。基于扭曲區域的識別結果，設計了特征矯正網絡，從當前幀提取傳播特征中扭曲缺失的必要信息，對傳播特征的扭曲區域進行替換，而在其他區域上保留原有的傳播特征，從而實現準確的傳播特征矯正。

技術領域

本發明涉及視頻語義分割技術領域，尤其涉及一種輕量級視頻語義分割方法、系統、設備及存儲介質。

背景技術

隨著視頻監控技術和深度學習技術的發展，視頻語義分割技術受到了越來越多的關注。視頻語義分割任務的目的是為視頻片段中的每一個像素點進行分類，從而完成對視頻中場景與目標對象的精細化解析。與圖像語義分割不同，視頻語義分割可以通過挖掘視頻數據存在的時序關聯先驗，利用相鄰幀之間的時序相關性來引導當前幀的分割，從而減少冗余計算，提升語義分割的性能。

在目前針對視頻語義分割任務的研究中，主流方法是挑選少量有代表性的關鍵幀進行完整語義分割，對于非關鍵幀則利用運動向量場(例如，殘差圖和光流)實現關鍵幀的特征傳播與復用，從而減少當前幀語義分割過程的計算量，降低對整個視頻片段進行語義分割的平均計算量。在專利《一種實時的語義視頻分割方法》中，通過視頻解碼獲得殘差圖、運動向量和RGB圖像，如果當前幀是I幀，則利用語義分割網絡對RGB圖像進行完整的語義分割計算，如果當前幀是P幀，則利用運動向量將前一幀的分割結果傳播至當前。在專利《視頻語義分割中的自適應關鍵幀選擇方法》和專利《一種基于光流特征融合的視頻語義分割方法》中，構建自適應關鍵幀選擇網絡，用來挑選具有代表性的關鍵幀，然后利用光流網絡預測關鍵幀與當前幀的光流，實現關鍵幀的特征傳播與復用。

然而，在弱紋理區域和細小物體區域，運動向量場的預測往往是不準確的，導致特征在運動向量場引導下進行傳播時會發生特征扭曲，進而直接影響視頻語義分割精度。

發明內容

本發明的目的是提供一種輕量級視頻語義分割方法、系統、設備及存儲介質，能夠對扭曲區域進行準確識別與矯正，大幅提升語義分割精度與魯棒性，且整個過程僅引入少量的額外計算量，計算效率較高。

本發明的目的是通過以下技術方案實現的：

一種輕量級視頻語義分割方法，包括：

若當前幀圖像為非關鍵幀圖像，利用光流估計網絡估計前一幀圖像與當前幀圖像的光流，利用光流分別對前一幀圖像及其對應的語義特征進行像素級位移，得到傳播幀圖像與傳播特征；

利用扭曲感知網絡，對比所述傳播幀圖像與當前幀圖像的特征差異，預測傳播特征中的扭曲區域；

利用特征矯正網絡，基于預測出的傳播特征中的扭曲區域，從當前幀圖像中提取矯正信息，對預測出的傳播特征中的扭曲區域進行替換，獲得矯正后的特征；

通過語義分割網絡對所述矯正后的特征進行語義分割。

一種輕量級視頻語義分割系統，基于前述方法實現，該系統包括：

特征與圖像聯合傳播模塊，用于在當前幀圖像為非關鍵幀圖像時，利用光流估計網絡估計前一幀圖像與當前幀圖像的光流，利用光流分別對前一幀圖像及其對應的語義特征進行像素級位移，得到傳播幀圖像與傳播特征；

扭曲感知網絡，用于對比所述傳播幀圖像與當前幀圖像的特征差異，預測傳播特征中的扭曲區域；

特征矯正網絡，用于基于預測出的傳播特征中的扭曲區域，從當前幀圖像中提取矯正信息，對預測出的傳播特征中的扭曲區域進行替換，獲得矯正后的特征；

語義分割網絡，用于對所述矯正后的特征進行語義分割。

一種處理設備，包括：一個或多個處理器；存儲器，用于存儲一個或多個程序；