[發明專利]一種基于混合模型的小樣本圖像語義分割方法

有效

• 申請號: 202010323472.6
• 申請日: 2020-04-22
• 公開（公告）號: CN111583284B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 葉齊祥;楊博宇;劉暢;萬方;韓振軍;焦建彬
• 申請（專利權）人: 中國科學院大學
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06T7/194;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京康思博達知識產權代理事務所(普通合伙) 11426
• 代理人: 范國鋒;劉冬梅

本發明公開了一種基于混合模型的小樣本圖像語義分割方法、一種小樣本圖像語義分割裝置及計算機可讀存儲介質，所述方法包括以下語義分割模型的訓練步驟：步驟1，對有標注的支撐圖像特征進行原型向量提取；步驟2，對無標注待分割的查詢圖像進行特征激活；步驟3，獲得訓練后的小樣本語義分割模型。本發明所公開的語義分割方法降低了支撐圖像的信息損失，提高了神經網絡對查詢圖像的分割精度，改善了小樣本語義分割中語義混疊的問題，對小樣本學習、增量學習等有重要意義，對于自然場景圖像、醫學圖像等領域的語義分割具有應用價值。

技術領域

本發明涉及小樣本學習與計算機視覺領域，具體涉及一種基于混合模型的小樣本圖像語義分割方法。

背景技術

深度神經網絡例如卷積神經網絡(CNN)已經在計算機視覺、語義分割中取得了巨大成就，其很大程度上依賴于網絡在大數據集的訓練。然而，在語義分割任務中，標注大數據集的目標輪廓耗時費力、成本昂貴并且不切實際。因此，迫切需要小樣本學習方法來解決這一問題。

小樣本學習是在利用訓練圖像完成網絡特征表達學習后，利用少量帶有標注的圖像——支撐集，來實現對查詢圖像的分割，其挑戰在于：一方面待分割的類別與訓練圖像的類別不同，另一方面支撐圖像與查詢圖像在外觀和姿態方面存在不同。

小樣本學習語義分割的實現基于度量學習框架，當前方法大多為通過對有標注引導的支撐圖像的特征圖做池化操作，以提取一個原型向量，該向量再將每個維度的特征圖壓縮到一個點以將所有的特征信息壓縮到向量的維度上；利用該原型向量比較支撐圖像與查詢圖像來實現對查詢圖像的分割。

但是，利用一個全局平均得到的原型向量來表示整個特征圖會丟掉整個圖的特征分布以及空間信息，一個原型向量會導致不同對象部分的語義混疊，并完全丟失特征的分布。

因此，有必要提供一種簡單有效的方法，以改善小樣本語義分割中語義混疊的問題，提高分割精度。

發明內容

為了克服上述問題，本發明人進行了銳意研究，設計出一種基于混合模型的小樣本圖像語義分割方法，該方法對少量有標注的支撐圖像特征建立混合模型提取多個原型向量，利用多原型向量對無標注待分割的查詢圖像進行特征激活與概率圖計算，實現對查詢圖像的分割。本發明所提供的方法無需大量數據標注，降低了支撐圖像的信息損失，提高了神經網絡對查詢圖像的分割精度，改善了小樣本語義分割中語義混疊的問題，從而完成了本發明。

具體來說，本發明的目的在于提供以下方面：

第一方面，提供一種基于混合模型的小樣本圖像語義分割方法，所述方法包括以下語義分割模型的訓練步驟：

步驟1，對有標注的支撐圖像特征進行原型向量提取；

步驟2，對無標注待分割的查詢圖像進行特征激活；

步驟3，獲得訓練后的小樣本語義分割模型。

第二方面，提供一種小樣本圖像語義分割裝置，優選用于實施第一方面所述的方法，所述裝置包括向量提取單元、特征激活單元和語義分割單元，其中，

向量提取單元，用于對少量有標注的支撐圖像特征建立混合模型，以提取多個原型向量；

特征激活單元，利用多個原型向量對無標注待分割的查詢圖像進行特征激活與概率圖計算；

語義分割單元，利用分割網絡實現對查詢圖像的分割。

第三方面，提供一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有圖像語義分割程序，所述圖像語義分割程序被處理器執行時實現第一方面所述方法的步驟。

本發明所具有的有益效果包括：

(1)本發明提供的基于混合模型的小樣本圖像語義分割方法，無需大量數據標注，減少了人工標注成本；