[發(fā)明專利]基于弱分割的損傷檢測方法及裝置

有效

• 申請?zhí)枺?/td>: 201910447785.X
• 申請日: 2019-05-27
• 公開（公告）號: CN110264444B
• 公開（公告）日: 2020-07-17
• 發(fā)明（設(shè)計）人: 張偉;褚崴
• 申請（專利權(quán)）人: 阿里巴巴集團控股有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/12
• 代理公司: 北京億騰知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽;周良玉

1.一種計算機執(zhí)行的、訓(xùn)練弱分割損傷檢測模型的方法，包括：

獲取樣本圖片，所述樣本圖片對應(yīng)具有邊框標(biāo)注數(shù)據(jù)，所述邊框標(biāo)注數(shù)據(jù)指示出至少一個損傷標(biāo)注框，每個損傷標(biāo)注框是標(biāo)注人員標(biāo)注的、框選出所述樣本圖片中損傷對象的最小矩形框；

將各個損傷標(biāo)注框作為對應(yīng)損傷對象的輪廓，基于所述輪廓為所述樣本圖片中各個像素點標(biāo)注分割類別，從而生成分割標(biāo)注數(shù)據(jù)；

將所述樣本圖片輸入弱分割損傷檢測模型，所述弱分割損傷檢測模型包括邊框預(yù)測分支和分割預(yù)測分支，所述邊框預(yù)測分支輸出用于指示損傷預(yù)測框的邊框預(yù)測數(shù)據(jù)，所述分割預(yù)測分支輸出針對所述樣本圖片中各個像素點的分割類別進行預(yù)測的分割預(yù)測數(shù)據(jù)；

基于所述邊框預(yù)測數(shù)據(jù)與所述邊框標(biāo)注數(shù)據(jù)的比對，確定邊框預(yù)測損失項，以及，基于所述分割預(yù)測數(shù)據(jù)和分割標(biāo)注數(shù)據(jù)的比對，確定分割預(yù)測損失項；

根據(jù)所述邊框預(yù)測損失項和所述分割預(yù)測損失項，確定本次預(yù)測的損失函數(shù)；

在所述損失函數(shù)減小的方向，更新所述弱分割損傷檢測模型。

2.根據(jù)權(quán)利要求1所述的方法，其中，基于所述輪廓為所述樣本圖片中各個像素點標(biāo)注分割類別包括：

將位于損傷標(biāo)注框之內(nèi)的像素點標(biāo)注為第一分割類別，將位于損傷標(biāo)注框之外的像素點標(biāo)注為第二分割類別。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述至少一個損傷標(biāo)注框包括第一損傷標(biāo)注框；所述邊框標(biāo)注數(shù)據(jù)還包括，標(biāo)注人員從預(yù)定的N個損傷類別中，針對該第一損傷標(biāo)注框選擇標(biāo)注的第一損傷類別；

基于所述輪廓為所述樣本圖片中各個像素點標(biāo)注分割類別包括：

對于位于所述第一損傷標(biāo)注框之內(nèi)的像素點，將其分割類別標(biāo)注為所述第一損傷類別對應(yīng)的類別。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述至少一個損傷標(biāo)注框包括第一損傷標(biāo)注框和第二損傷標(biāo)注框，所述第一損傷標(biāo)注框和第二損傷標(biāo)注框存在交疊區(qū)域；所述邊框標(biāo)注數(shù)據(jù)還包括，標(biāo)注人員從預(yù)定的N個損傷類別中，針對該第一損傷標(biāo)注框選擇標(biāo)注的第一損傷類別和針對第二損傷標(biāo)注框選擇標(biāo)注的第二損傷類別，其中第二損傷類別的損傷嚴(yán)重程度大于所述第一損傷類別；

基于所述輪廓為所述樣本圖片中各個像素點標(biāo)注分割類別包括：

對于位于所述交疊區(qū)域之內(nèi)的像素點，將其分割類別標(biāo)注為所述第二損傷類別對應(yīng)的類別。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述弱分割損傷檢測模型基于卷積神經(jīng)網(wǎng)絡(luò)CNN實現(xiàn)，所述卷積神經(jīng)網(wǎng)絡(luò)CNN包括基礎(chǔ)卷積層，用于對所述樣本圖片進行卷積處理，得到對應(yīng)的卷積特征圖；

所述邊框預(yù)測分支用于基于所述卷積特征圖預(yù)測得到所述邊框預(yù)測數(shù)據(jù)；

所述分割預(yù)測分支用于基于所述卷積特征圖預(yù)測得到所述分割預(yù)測數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述分割預(yù)測分支包括：

上采樣層，用于將經(jīng)卷積處理的特征上采樣為與所述樣本圖片大小相同的第一特征圖；

分割處理層，用于基于所述第一特征圖預(yù)測各個像素點屬于各個分割類別的概率。

7.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述分割預(yù)測數(shù)據(jù)和分割標(biāo)注數(shù)據(jù)的比對，確定分割預(yù)測損失項包括：

根據(jù)所述分割預(yù)測數(shù)據(jù)，確定各個像素點屬于各個分割類別的預(yù)測概率；

根據(jù)所述各個像素點屬于各個分割類別的預(yù)測概率以及其標(biāo)注分割類別，確定所述分割預(yù)測損失項。

8.一種計算機執(zhí)行的從圖片中檢測損傷的方法，包括：

獲取根據(jù)權(quán)利要求1的方法訓(xùn)練得到的弱分割損傷檢測模型；

將待測圖片輸入所述弱分割損傷檢測模型，所述弱分割損傷檢測模型包括邊框預(yù)測分支和分割預(yù)測分支，所述邊框預(yù)測分支輸出用于指示損傷預(yù)測框的邊框預(yù)測數(shù)據(jù)，所述分割預(yù)測分支輸出針對所述待測圖片中各個像素點的分割類別進行預(yù)測的分割預(yù)測數(shù)據(jù)；

根據(jù)所述邊框預(yù)測數(shù)據(jù)和所述分割預(yù)測數(shù)據(jù)，確定針對所述待測圖片的損傷檢測結(jié)果。