[發明專利]輕量級視頻語義分割方法、系統、設備及存儲介質

在審

• 申請號: 202210068739.0
• 申請日: 2022-01-20
• 公開（公告）號: CN114429603A
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 王子磊;莊嘉帆
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/26;G06N3/04;G06N3/08
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

1.一種輕量級視頻語義分割方法，其特征在于，包括：

若當前幀圖像為非關鍵幀圖像，利用光流估計網絡估計前一幀圖像與當前幀圖像的光流，利用光流分別對前一幀圖像及其對應的語義特征進行像素級位移，得到傳播幀圖像與傳播特征；

利用扭曲感知網絡，對比所述傳播幀圖像與當前幀圖像的特征差異，預測傳播特征中的扭曲區域；

利用特征矯正網絡，基于預測出的傳播特征中的扭曲區域，從當前幀圖像中提取矯正信息，對預測出的傳播特征中的扭曲區域進行替換，獲得矯正后的特征；

通過語義分割網絡對所述矯正后的特征進行語義分割。

2.根據權利要求1所述的一種輕量級視頻語義分割方法，其特征在于，所述利用光流估計網絡估計前一幀圖像與當前幀圖像的光流，利用光流分別對前一幀圖像及其對應的語義特征進行像素級位移，得到傳播幀圖像與傳播特征包括：

利用光流估計網絡估計前一幀圖像F_t與當前幀圖像F_t+1的光流，用于表征當前幀圖像F_t+1每一個像素點與前一幀圖像F_t對應像素點之間的相對位移；其中，t與t+1表示兩個相鄰時刻，如果前一幀是關鍵幀，則語義特征通過語義分割網絡從前一幀圖像F_t中提取得到，如果前一幀是非關鍵幀，則是由之前最近的關鍵幀圖像傳播得到的；在光流的引導下，將前一幀圖像F_t與其對應的語義特征分別進行像素級的特征位移，實現圖像與語義特征的傳播，得到傳播幀圖像和傳播特征

3.根據權利要求1所述的一種輕量級視頻語義分割方法，其特征在于，所述利用扭曲感知網絡，對比所述傳播幀圖像與當前幀圖像的差異，預測傳播特征中的扭曲區域包括：

通過扭曲感知網絡分別提取所述傳播幀圖像與當前幀圖像的特征，并分別進行歸一化后，計算兩個特征的像素級余弦相似度，歸一化后預測出扭曲圖其中包含了傳播特征中的扭曲區域，扭曲圖預測方式表示為：

其中，表示歸一化后的當前圖像的特征，表示歸一化后的傳播幀圖像的特征；T為轉置符號；p表示單個像素，S_t+1(p)表示特征與中相同位置中單個像素p的余弦相似度，所有像素的余弦相似度S_t+1(p)構成余弦相似度矩陣S_t+1，表示計算余弦相似度的符號；扭曲圖的尺寸與幀圖像尺寸相同，表征幀圖像的扭曲程度，扭曲圖中包含扭曲區域與正常區域，扭曲區域中像素的扭曲值大于正常區域像素的扭曲值。

4.根據權利要求1所述的一種輕量級視頻語義分割方法，其特征在于，所述扭曲感知網絡設有特征提取器，用于提取所述傳播幀圖像與當前幀圖像的特征，特征提取器包括四個可分離的卷積層，每個卷積層搭配一個批歸一化層和激活層；對所述扭曲感知網絡進行有監督的訓練；訓練時，利用語義分割網絡提取當前幀圖像F_t+1的語義特征f_t+1，并對當前幀圖像F_t+1的語義特征f_t+1以及傳播特征分別進行語義分割，利用異或操作得到兩類語義分割結果的差異圖，將差異圖作為扭曲感知網絡訓練的監督信號。

5.根據權利要求3所述的一種輕量級視頻語義分割方法，其特征在于，所述基于預測出的傳播特征中的扭曲區域，從當前幀圖像中提取矯正信息，對預測出的傳播特征中的扭曲區域進行替換，獲得矯正后的特征包括：

將當前幀圖像中提取的矯正信息記為以預測出的包含傳播特征中的扭曲區域的扭曲圖為權重與傳播特征進行加權求和，獲得矯正后的特征表示為：

其中，⊙表示逐像素相乘。