[發明專利]基于緊框標的訓練方法及測量裝置

在審

• 申請號: 202211064151.4
• 申請日: 2021-10-19
• 公開（公告）號: CN115359070A
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 王娟;夏斌
• 申請（專利權）人: 深圳硅基智能科技有限公司
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T7/70;G06V10/764;G06V10/774;G06V10/82;G06N3/08;G06N3/04;G01B11/06;G01B11/02
• 代理公司: 深圳舍穆專利代理事務所(特殊普通合伙) 44398
• 代理人: 邱爽

本公開描述了一種基于緊框標的訓練方法及測量裝置，是基于目標的緊框標對網絡模塊進行訓練的訓練方法，訓練方法包括：構建包括輸入圖像數據和標簽數據的訓練樣本，輸入圖像數據包括多張待訓練圖像，多張待訓練圖像包括包含至少屬于一個類別的目標的圖像，標簽數據包括目標所屬的類別的金標準和目標的緊框標的金標準；將訓練樣本輸入網絡模塊以獲取預測數據，預測數據包括由分割網絡輸出的預測分割數據和由回歸網絡輸出的預測偏移；并且基于標簽數據、預測分割數據、以及預測偏移確定網絡模塊的訓練損失并基于訓練損失對網絡模塊進行優化。

本申請是申請日為2021年10月19日、申請號為2021112166277、發明名稱為基于緊框標的深度學習的測量方法及測量裝置的專利申請的分案申請。

技術領域

本公開大體涉及基于深度學習的識別技術領域，具體涉及一種基于緊框標的訓練方法及測量裝置。

背景技術

圖像中常常包括各種目標的信息，基于圖像處理技術識別圖像中目標的信息可以自動對目標進行分析。例如，在醫學領域，可以對醫學圖像中的組織對象進行識別，進而能夠測量組織對象的尺寸以監測組織對象的變化。

近年，以深度學習為代表的人工智能技術得到了顯著地發展，其在目標識別或測量等方面的應用也越來越得到關注。研究者們利用深度學習技術對圖像中的目標進行識別或進行進一步地測量。具體而言，在一些基于深度學習的研究中，常常利用標注數據對基于深度學習的神經網絡進行訓練以對圖像中的目標進行識別并分割出該目標，進而能夠對該目標進行測量。

然而，上述的目標識別或測量的方法常常需要精確的像素級別的標注數據用于神經網絡的訓練，而采集像素級別的標注數據常常需要耗費大量的人力和物力。另外，一些目標識別的方法雖然不是基于像素級別的標注數據，但僅僅是識別圖像中的目標，對目標的邊界識別還不夠精確或在靠近目標的邊界位置往往精度較低，不適用于要求精確測量的場景。在這種情況下，對圖像中的目標進行測量的精確性還有待于提高。

發明內容

本公開是有鑒于上述的狀況而提出的，其目的在于提供一種能夠識別目標且能夠精確地對目標進行測量的基于緊框標的深度學習的測量方法及測量裝置。

為此，本公開第一方面提供了一種基于緊框標的深度學習的測量方法，是利用基于目標的緊框標進行訓練的網絡模塊對所述目標進行識別從而實現測量的測量方法，所述緊框標為所述目標的最小外接矩形，所述測量方法包括：獲取包括至少一個目標的輸入圖像，所述至少一個目標屬于至少一個感興趣的類別；將所述輸入圖像輸入所述網絡模塊以獲取第一輸出和第二輸出，所述第一輸出包括所述輸入圖像中的各個像素點屬于各個類別的概率，所述第二輸出包括所述輸入圖像中各個像素點的位置與每個類別的目標的緊框標的偏移，將所述第二輸出中的偏移作為目標偏移，其中，所述網絡模塊包括骨干網絡、基于弱監督學習的圖像分割的分割網絡、以及基于邊框回歸的回歸網絡，所述骨干網絡用于提取所述輸入圖像的特征圖，所述分割網絡將所述特征圖作為輸入以獲得所述第一輸出，所述回歸網絡將所述特征圖作為輸入以獲得所述第二輸出，其中，所述特征圖與所述輸入圖像的分辨率一致；基于所述第一輸出和所述第二輸出對所述目標進行識別以獲取各個類別的目標的緊框標。

在本公開中，構建包括骨干網絡、基于弱監督學習的圖像分割的分割網絡和基于邊框回歸的回歸網絡的網絡模塊，網絡模塊是基于目標的緊框標進行訓練的，骨干網絡接收輸入圖像并提取與輸入圖像分辨率一致的特征圖，將特征圖分別輸入分割網絡和回歸網絡以獲取第一輸出和第二輸出，然后基于第一輸出和第二輸出獲取輸入圖像中目標的緊框標從而實現測量。在這種情況下，基于目標的緊框標的訓練的網絡模塊能夠精確地預測輸入圖像中目標的緊框標，進而能夠基于目標的緊框標進行精確地測量。

另外，在本公開第一方面所涉及的測量方法中，可選地，基于所述目標的緊框標對各個目標的尺寸進行測量。由此，能夠基于目標的緊框標對目標進行精確地測量。