[發明專利]圖像掩膜生成方法、裝置、電子設備和存儲介質

在審

• 申請號: 202110685248.6
• 申請日: 2021-06-21
• 公開（公告）號: CN113378948A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 崔致豪;王子芃;王正;耿嘉;丁有爽;邵天蘭
• 申請（專利權）人: 梅卡曼德（北京）機器人科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京科石知識產權代理有限公司 11595
• 代理人: 徐紅崗

本申請公開了一種圖像掩膜生成方法、裝置、電子設備和存儲介質。圖像掩膜生成方法包括：獲取包含掩膜特征的圖像數據，其中，所述掩膜特征為包括待識別物品的圖像的掩膜特征；獲取所述圖像數據上的待識別物品的中心點信息以及識別框參數；基于所述中心點信息以及識別框信息從圖像數據中提取所述待識別物品的掩膜特征；基于從圖像數據中提取的所述待識別物品的掩膜特征生成物品的圖像掩膜。本發明基于骨干網絡提取的物品關鍵點信息以及識別框參數對多特征維度的圖像數據進行池化，從而能夠從完整的圖像中識別屬于所識別物品的掩膜特征從而準確地提取出所識別物品的掩膜。

技術領域

本申請涉及圖像處理技術領域，更具體而言，特別涉及圖像掩膜生成方法、裝置、電子設備和存儲介質。

背景技術

圖像識別技術已經在商業領域具有廣泛的應用。目前常用的圖像識別方法或通過利用滑動窗口來選擇和組裝分數圖的輸出來生成分割的實例段，或者基于檢測器直接預測沒有建議的邊界框，這些方法在很大程度上依賴于預定義的錨，并且超參數調整(例如錨比、錨步長)對于不同的數據集和框尺度至關重要，還有一些圖像識別方法采用關鍵點檢測思想獲取對象的四個極值點并生成掩膜，或者用極坐標表示方法重新分割實例并預測目標的質心，然后基于質心和密集的輪廓點之間的距離預測識別框。此外，在獲得識別框之后，傳統的方法還包括消除類別級別冗余檢測框的步驟以避免在同一個物品上出現多個識別框。此外，目前主流的圖像識別算法通常會使用深度骨干網絡進行圖像數據的處理，常用的骨干網絡為了準確率而使用了龐大的參數，導致模型推理速度低，并且嚴重限制了模型在低內存設備上的實現，還有些骨干網絡專注于提高模型推理速度，但降低了準確率。

這些傳統的方法，要么參數調整復雜，要么僅適用于生成識別框或生成掩膜，并且傳統的方法中所使用的冗余框檢測技術在一些特殊工業場景下使用時，例如，多個并列傾斜的物品或者有遮蓋阻擋的物品，會造成嚴重的漏檢。然而在工業場景中，例如使用機器人進行物品抓取這樣的場景，漏檢物品是不可容忍的，并且掩膜和識別框都是后續處理過程中的必要信息。現有的圖像識別技術運用于工業場景時仍然需要克服許多的問題。

發明內容

鑒于上述問題，提出了本發明以便克服上述問題或者至少部分地解決上述問題。具體地，首先，本發明能夠基于物品的關鍵點信息以及識別框參數并行地執行生成識別框的處理以及生成掩膜的處理，在工業場景中使用時，識別準確，不會生成冗余的識別框，并且同時生成識別框以及掩膜，實用性強；其次，本發明提出的骨干網絡能夠以兩個處理過程的多個階段對輸入的圖像數據進行多分辨率及多特征維度的處理，并且在第二處理過程中只進行升采樣處理，從而保證了輸出特征圖像數據的高分辨率，本發明的骨干網絡在保持準確率的同時，提高了推理速度；再次，本發明的骨干網絡除了數據處理流程之外，還包括特征過渡處理以及殘差處理，能夠保證高層次特征下的平穩的特征過渡并能夠避免深度網絡的梯度損失，提高了骨干網絡推理的準確率；再次，本發明的掩膜生成過程獲取了多個高層次維度特征的特征圖像數據，從各個特征維度中通過池化方式提取掩膜特征，從而能保證所生成的圖像掩膜的完整性，不會發生掩膜殘缺的情況；再次，本發明基于骨干網絡提取的物品關鍵點信息以及識別框參數對多特征維度的圖像數據進行池化，從而能夠從完整的圖像中識別屬于所識別物品的掩膜特征從而準確地提取出所識別物品的掩膜；再次，本發明基于通用的圖像識別方法，提出了特別適用于識別多個傾斜并列物品的圖像識別方法，能夠提高多個物品識別的準確度，不會發生漏檢。

本申請權利要求和說明書所披露的所有方案均具有上述一個或多個創新之處，相應地，能夠解決上述一個或多個技術問題。具體地，本申請提供一種圖像掩膜生成方法、裝置、電子設備和存儲介質。

本申請的實施方式的圖像掩膜生成方法，包括：

獲取包含掩膜特征的圖像數據，其中，所述掩膜特征為包括待識別物品的圖像的掩膜特征；

獲取所述圖像數據上的待識別物品的中心點信息以及識別框參數；

基于所述中心點信息以及識別框信息從圖像數據中提取所述待識別物品的掩膜特征；