[發明專利]基于少樣本的語義分割方法及裝置、電子設備、存儲介質

有效

• 申請號: 202011012195.3
• 申請日: 2020-09-23
• 公開（公告）號: CN112150471B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 秦永強;劉金露
• 申請（專利權）人: 創新奇智（上海）科技有限公司
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06V10/764;G06V10/80;G06T7/194
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 鐘揚飛

本申請提供一種基于少樣本的語義分割方法及裝置、電子設備、計算機可讀存儲介質，方法包括：將目標圖像組合作為已訓練的特征提取網絡的輸入，獲得目標圖像組合中每一圖像的圖像特征；其中，目標圖像組合包括待識別目標類別、若干支持圖像和一個查詢圖像，支持圖像攜帶與待識別目標類別對應的前景掩膜和背景掩膜；基于每一支持圖像的圖像特征、前景掩膜和背景掩膜，計算出對應于待識別目標類別的前景類原型和背景類原型；基于查詢圖像的圖像特征、前景類原型和背景類原型，確定查詢圖像上與待識別目標類別對應的預測前景掩膜。本申請對于樣本較少的待識別目標類別，可以借助以標注其它類別的樣本圖像訓練的特征提取網絡，實現語義分割。

技術領域

本申請涉及零售管理技術領域，特別涉及一種基于少樣本的語義分割?方法及裝置、電子設備、計算機可讀存儲介質。

背景技術

零售商品占比是指商品在分銷渠道中所占比例。隨著機器視覺技術的?發展，深度學習的方法逐漸替代人工統計成為當前零售商獲取零售商品占?比的首選。在應用時，可以利用深度學習的方法計算商品在分銷渠道的面?積占比，來確定零售商品占比。比如：某品牌冰淇淋在放滿冰淇淋的冰柜?中的陳列面積，與冰柜內總面積的比值，可以認為是該品牌冰淇淋的零售商品占比。

語義分割(semantic?segmentation)是當前計算商品占比的一項通用技?術，語義分割是一種像素級的分類，指的是將圖片中的每一個像素點都劃?分到具體的類別中，常用的語義分割網絡包括FCN(Fully?Convolutional?Networks?for?Semantic?Segmentation，用于語義分割的全卷積網絡)，PSPNet?(Pyramid?Scene?Parsing?Network，金字塔場景解析網絡)等。在基于語義分割計算商品面積占比時，可以提取分銷渠道的場景圖像的特征(feature)，?并基于特征計算得到某一類別商品在圖像中的分割結果，進而依據該分割?結果確定該類別商品在整個圖像中的面積占比。

然而，常用語義分割網絡需要以大量樣本圖像進行訓練。樣本圖像是?分銷渠道的場景圖像，場景圖像中每一像素都需要有對應的類標簽，表示?該像素所屬的商品類別。為場景圖像添加標簽耗時耗力，需要大量人力成?本。對于部分商品(比如：冷門商品、新品等)而言，可采集的包含商品?的場景圖像數量少。這導致對應于此類商品的樣本圖像較少，無法滿足訓?練需求，使得語義分割網絡的分割準確率不足。

發明內容

本申請實施例的目的在于提供一種基于少樣本的語義分割方法及裝?置、電子設備、計算機可讀存儲介質，用于基于少量訓練數據實現準確的?語義分割結果。

一方面，本申請提供了一種基于少樣本的語義分割方法，包括：

將目標圖像組合作為已訓練的特征提取網絡的輸入，獲得所述特征提?取網絡輸出的所述目標圖像組合中每一圖像的圖像特征；其中，所述目標?圖像組合包括待識別目標類別、若干支持圖像和一個查詢圖像，所述支持?圖像攜帶與所述待識別目標類別對應的前景掩膜和背景掩膜；

基于每一支持圖像的圖像特征、所述前景掩膜和所述背景掩膜，計算?出對應于所述待識別目標類別的前景類原型和背景類原型；

基于所述查詢圖像的圖像特征、所述前景類原型和所述背景類原型，?確定所述查詢圖像上與所述待識別目標類別對應的預測前景掩膜。

在一實施例中，所述基于每一支持圖像的圖像特征、所述前景掩膜和?所述背景掩膜，計算出對應于所述待識別目標類別的前景類原型和背景類?原型，包括：

將每一支持圖像的圖像特征分別與對應的所述前景掩膜和所述背景掩?膜相乘后求均值，獲得所述支持圖像對應的子前景類原型和子背景類原型；

對所有支持圖像對應的子前景類原型進行均值化處理，得到所述前景?類原型；

對所有支持圖像對應的子背景類原型進行均值化處理，得到所述背景?類原型。