[發明專利]一種基于AI圖像語義分割交互標注的方法及系統

在審

• 申請號: 202210397102.6
• 申請日: 2022-04-15
• 公開（公告）號: CN114782690A
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 周風明;胡文沖;余雄風
• 申請（專利權）人: 武漢光庭信息技術股份有限公司
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/80;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢藍寶石專利代理事務所(特殊普通合伙) 42242
• 代理人: 廉海濤

本發明涉及一種基于AI圖像語義分割交互標注的方法及系統，以卷積神經網絡為核心設計用于分割圖像的神經網絡模型；獲取訓練數據集，進行預處理，并進行分類，利用分類后的訓練數據集對所述神經網絡模型機型訓練，得到AI模型；獲取目標圖像上的人工打點信息，并調用所述AI模型對所述目標圖像進行分割，提取所述人工打點所在的標注對象的輪廓數據。通過人工與AI模型交互結合，能夠在很大程度上提高語義分割圖像標注效率和標注精度，適用性也有很大提升。

技術領域

本發明涉及計算機視覺技術領域，具體涉及一種基于AI圖像語義分割交互標注的方法及系統。

背景技術

數據集是訓練AI模型的必要元素，如cityscapes、mapillary等都是著名的公開數據集，然而這些公開數據集做學術研究尚可，但是在工業界往往因為標注對象不匹配、標注精度差、數量有限等原因無法訓練出理想的模型。因此對于企業而言，擁有和自己業務匹配的數據集是十分必要的。然而語義分割數據集標注需要大量人力，標注工作非常耗時，為企業帶來很大的成本。

語義分割標注需要將圖片中的對象(人、車)的輪廓用多邊形標注出來，目前有兩種常用標注方式：一是利用標注工具進行純手工標注，標注一張圖片需要近一個小時，效率很低；二是手工+算法的交互標注方式，需要人工畫出大致草圖或關鍵點，再利用算法進行自動貼合，但是該方法對于路燈、植物等細長或形狀復雜的對象貼合很差，所以效率甚至比純手工更低。

發明內容

本發明針對現有技術中存在的技術問題，提供一種基于AI圖像語義分割交互標注的方法及系統。

第一方面，本發明提供一種基于AI圖像語義分割交互標注的方法，包括：

以卷積神經網絡為核心設計用于分割圖像的神經網絡模型；

獲取訓練數據集，進行預處理，并進行分類，利用分類后的訓練數據集對所述神經網絡模型機型訓練，得到AI模型；

獲取目標圖像上的人工打點信息，并調用所述AI模型對所述目標圖像進行分割，提取所述人工打點所在的標注對象的輪廓數據。

進一步的，所述神經網絡模型包括：關鍵點檢測模塊和語義分割模塊；

所述關鍵點檢測模塊基于HRNet實現；所述語義分割模塊基于ocrnet實現；

所述神經網絡模型的輸入包括圖片信息以及人工打點的編碼信息；所述圖片信息和人工打點的編碼信息分別經過一層卷積層后進行疊加融合，再經過一層卷積層后輸入到關鍵點檢測模塊中，關鍵點檢測模塊與所述語義分割模塊級聯，語義分割模塊的輸出即為人工打點所在對象的輪廓數據。

進一步的，針對細長對象，所述神經網絡模型采用歸一化焦點損失函數。

進一步的，所述預處理包括數據清洗、類別篩選、多數據集融合、標注轉換。

進一步的，對所述訓練數據集分類后，針對數據量較少的類別，需要融合多種數據集以增加該類別樣本數據量。

進一步的，提取所述人工打點所在的標注對象的輪廓數據后，還包括：判斷語義分割結果是否滿足精度要求，若滿足則輸出所述輪廓數據并進行下一標注對象的輪廓提取，否則進行反饋并再次獲取當前標注對象的人工打點信息。

進一步的，一個標注對象的人工打點信息至少包括一個標注點。

第二方面，本發明提供一種基于AI圖像語義分割交互標注的系統，包括：

模型建立模塊，以卷積神經網絡為核心設計用于分割圖像的神經網絡模型；

模型訓練模塊，獲取訓練數據集，進行預處理，并進行分類，利用分類后的訓練數據集對所述神經網絡模型機型訓練，得到AI模型；