[發明專利]基于神經網絡的實例分割方法和裝置以及存儲介質

在審

• 申請號: 202011166214.8
• 申請日: 2020-10-27
• 公開（公告）號: CN112348828A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 蘇浩;潘武;張小鋒;黃鵬;胡彬;林封笑
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T5/00;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 江舟

本發明公開了一種基于神經網絡的實例分割方法和裝置以及存儲介質。其中，該方法包括：通過獲取視頻流中的目標圖片；將目標圖片輸入至目標實例分割神經網絡中，輸出第一實例集合，其中，實例分割神經網絡包括：檢測網絡、特征圖處理層以及掩碼處理層，檢測網絡用于獲取實例邊界框的參數，特征圖處理層將邊界框的參數進行處理，得到目標參數，掩碼處理層根據目標參數對目標圖片進行實例分割；根據第一實例集合中的目標實例之間的重疊度確定第一實例集合中目標實例的相似實例；確定相似實例中大于第一預定閾值的實例，得到目標圖片中目標實例的至少一個實例圖片，進而解決了現有技術中，實例分割計算速度較低的技術問題。

技術領域

本發明涉及圖像處理技術領域，具體而言，涉及一種基于神經網絡的實例分割方法和裝置以及存儲介質。

背景技術

在圖像進行處理的時候，通常需要對圖片中所包含的各個實例進行定位和區分。例如，采用目標檢測方法框出不同的實例，再用語義分割方法對不同類別的實例所在區域進行逐像素標記，從而區分不同類別的實例。若需要對相同類別的實例進行進一步的區分，則對圖片進行實例分割，實例分割不僅可以對圖片進行類別的區分，還可以在相同類別的實例中區分出不同的實例。

現有的采用基于候選區域的實例分割架構對圖片在N個層級的預測網絡中實例分割，以直接得到實例分割結果。通過級聯的方式提高了實例分割的準確率，但是推理速度卻大大降低了，沒有做到速度與精度的均衡。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種基于神經網絡的實例分割方法和裝置以及存儲介質，以至少解決現有技術中，實例分割計算速度較低的技術問題。

根據本發明實施例的一個方面，提供了一種基于神經網絡的實例分割方法，包括：獲取視頻流中的目標圖片；將所述目標圖片輸入至目標實例分割神經網絡中，輸出第一實例集合，其中，所述實例分割神經網絡包括：檢測網絡、特征圖處理層以及掩碼處理層，所述檢測網絡用于獲取實例邊界框的參數，所述特征圖處理層將所述邊界框的參數進行處理，得到目標參數，所述掩碼處理層根據所述目標參數對所述目標圖片進行實例分割；根據所述第一實例集合中的目標實例之間的重疊度確定第一實例集合中所述目標實例的相似實例；確定所述相似實例中大于第一預定閾值的實例，得到所述目標圖片中所述目標實例的至少一個實例圖片。

可選的，所述將所述目標圖片輸入至目標實例分割神經網絡中，輸出第一實例集合之前，所述方法包括：獲取視頻流中的樣本圖片集合；將所述樣本圖片集合中每張圖片中的目標對象進行標注，得到目標數據集；將所述標注數據集輸入至預設實例分割神經網絡中，其中，所述預設神經網絡包括預設檢測網絡、預設特征圖處理層、預設掩碼處理層以及目標損失函數，所述檢測網絡用于獲取預設樣本圖片中實例邊界框的參數，所述特征圖處理層將所述預設樣本圖片中實例的邊界框的參數進行處理，得到預設目標參數，所述掩碼處理層根據所述預設目標參數對所述樣本目標圖片進行實例分割，所述目標損失函數，所述目標損失函數包括二元交叉熵損失函數和交并比損失函數；在所述目標損失函數滿足預定條件的情況下，確定為所述實例分割神經網絡。

可選的，將所述樣本圖片集合中每張圖片中的目標對象進行標注，得到目標數據集包括：采用實例分割標準數據增強技術將樣本圖片集合中的每張圖片和標注結果進行數據增強，得到所述目標數據集。

可選的，將所述樣本圖片集合中每張圖片中的目標對象進行標注，得到目標數據集之后，所述方法還包括：將所述目標數據集按照預設比例劃分為訓練集、驗證集和測試集，其中，所述訓練集用于所述預設實例分割神經網絡的訓練、所述驗證集用于所述預設實例分割神經網絡的驗證和所述測試集用于所述預設神經網絡分割模型測試。