[發(fā)明專利]基于語義分割網(wǎng)絡(luò)的人體外表損傷檢測(cè)方法及相關(guān)設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201910901600.8
• 申請(qǐng)日: 2019-09-23
• 公開（公告）號(hào): CN110874594B
• 公開（公告）日: 2023-06-30
• 發(fā)明（設(shè)計(jì)）人: 趙霄鴻;劉莉紅;劉玉宇
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06V10/26
• 分類號(hào): G06V10/26;G06V10/44;G06V10/77;G06V10/80;G06V10/774;G06V10/82;G06N3/0464;G06T7/00
• 代理公司: 深圳市賽恩倍吉知識(shí)產(chǎn)權(quán)代理有限公司 44334
• 代理人: 劉麗華;孫芬

1.一種基于語義分割網(wǎng)絡(luò)的人體外表損傷檢測(cè)方法，其特征在于，所述方法包括：

獲取需要進(jìn)行人體外表損傷檢測(cè)的待檢測(cè)圖片；

將所述待檢測(cè)圖片輸入至基于語義分割的人體損傷檢測(cè)模型中；

依次通過所述人體損傷檢測(cè)模型中的區(qū)域候選網(wǎng)絡(luò)以及輸出網(wǎng)絡(luò)進(jìn)行特征提取；

將所述區(qū)域候選網(wǎng)絡(luò)提取的第一特征圖與所述輸出網(wǎng)絡(luò)提取的第二特征圖進(jìn)行特征融合，獲得最終特征圖，包括：將所述區(qū)域候選網(wǎng)絡(luò)提取的第一特征圖拆分成多個(gè)第一子特征圖；確定每個(gè)所述第一子特征圖的計(jì)算類型；從所述輸出網(wǎng)絡(luò)提取的第二特征圖中獲取多個(gè)第二子特征圖；確定每個(gè)所述第二子特征圖的計(jì)算類型；將相同計(jì)算類型的所述第一子特征圖以及所述第二子特征圖進(jìn)行融合，獲得最終特征圖；

對(duì)所述最終特征圖進(jìn)行特征檢測(cè)，獲得所述待檢測(cè)圖片的人體外表損傷檢測(cè)結(jié)果，其中，所述人體外表損傷檢測(cè)結(jié)果包括損傷區(qū)域邊界框、損傷類型及圖片掩膜。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取需要進(jìn)行人體外表損傷檢測(cè)的待檢測(cè)圖片之前，所述方法還包括：

獲取多個(gè)需要進(jìn)行模型訓(xùn)練的原始人體損傷圖片；

接收用戶對(duì)每個(gè)所述原始人體損傷圖片的受損區(qū)域進(jìn)行邊界標(biāo)注輸入的多邊形區(qū)域，以及接收用戶針對(duì)所述受損區(qū)域輸入的損傷類型；

將所述多邊形區(qū)域以及所述損傷類型保存成格式化文件；

根據(jù)所述多邊形區(qū)域的像素值，生成圖片掩膜；

將所述原始人體損傷圖片、所述格式化文件以及所述圖片掩膜輸入至語義分割網(wǎng)絡(luò)框架模型中進(jìn)行訓(xùn)練，獲得訓(xùn)練好的人體損傷檢測(cè)模型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述多邊形區(qū)域的像素值，生成圖片掩膜包括：

根據(jù)所述多邊形區(qū)域，將所述多邊形區(qū)域的內(nèi)部區(qū)域確定為目標(biāo)區(qū)域，以及將所述多邊形區(qū)域的外部區(qū)域確定為背景區(qū)域；

按照所述損傷類型，將所述目標(biāo)區(qū)域的像素值設(shè)置為第一標(biāo)識(shí)，以及將所述背景區(qū)域的像素值設(shè)置為第二標(biāo)識(shí)；

根據(jù)所述第一標(biāo)識(shí)以及所述第二標(biāo)識(shí)，生成圖片掩膜。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述原始人體損傷圖片、所述格式化文件以及所述圖片掩膜輸入至語義分割網(wǎng)絡(luò)框架模型中進(jìn)行訓(xùn)練，獲得訓(xùn)練好的人體損傷檢測(cè)模型包括：

將所述原始人體損傷圖片、所述格式化文件以及所述圖片掩膜輸入至初始模型；

通過所述初始模型中的骨干網(wǎng)絡(luò)對(duì)所述原始人體損傷圖片進(jìn)行卷積運(yùn)算以及池化運(yùn)算，獲得待訓(xùn)練特征圖；

采用交替訓(xùn)練方法，將所述待訓(xùn)練特征圖、所述格式化文件以及所述圖片掩膜依次輸入至所述人體損傷檢測(cè)模型中的區(qū)域候選網(wǎng)絡(luò)以及輸出網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

獲取所述輸出網(wǎng)絡(luò)輸出的掩膜計(jì)算結(jié)果、邊界框坐標(biāo)計(jì)算結(jié)果以及分類計(jì)算結(jié)果；

根據(jù)所述掩膜計(jì)算結(jié)果、所述邊界框坐標(biāo)計(jì)算結(jié)果以及所述分類計(jì)算結(jié)果，確定人體損傷檢測(cè)模型。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述掩膜計(jì)算結(jié)果、所述邊界框坐標(biāo)計(jì)算結(jié)果以及所述分類計(jì)算結(jié)果，確定人體損傷檢測(cè)模型包括：

將所述掩膜計(jì)算結(jié)果、所述邊界框坐標(biāo)計(jì)算結(jié)果以及所述分類計(jì)算結(jié)果輸入至預(yù)設(shè)的損失函數(shù)進(jìn)行計(jì)算，獲得損失值；

根據(jù)所述損失值，使用隨機(jī)梯度下降算法，更新所述初始模型的參數(shù)；

若所述損失函數(shù)的損失值達(dá)到收斂狀態(tài)，確定更新參數(shù)后的初始模型為訓(xùn)練好的人體損傷檢測(cè)模型。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述初始模型的骨干網(wǎng)絡(luò)、區(qū)域候選網(wǎng)絡(luò)以及輸出網(wǎng)絡(luò)中的激活函數(shù)采用PRelu函數(shù)，所述骨干網(wǎng)絡(luò)采用Densenet121模型。