[發(fā)明專利]一種基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的舌象分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711026169.4
• 申請(qǐng)日: 2017-10-27
• 公開(kāi)（公告）號(hào): CN107977671B
• 公開(kāi)（公告）日: 2021-10-26
• 發(fā)明（設(shè)計(jì)）人: 王麗冉;湯一平;何霞;陳朋;袁公萍;金宇杰
• 申請(qǐng)（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06K9/32;G06N3/08
• 代理公司: 杭州斯可睿專利事務(wù)所有限公司 33241
• 代理人: 王利強(qiáng)

1.一種基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的舌象分類方法，其特征在于：包括對(duì)采集到的舌象進(jìn)行一系列預(yù)處理的圖像操作；包括用于舌整體特征提取的深度卷積神經(jīng)網(wǎng)絡(luò)、包括用于對(duì)舌面標(biāo)簽進(jìn)行檢測(cè)的感興趣區(qū)域定位網(wǎng)絡(luò)、用于深度學(xué)習(xí)和訓(xùn)練識(shí)別的多任務(wù)深度卷積神經(jīng)網(wǎng)絡(luò)，完成對(duì)舌象舌色、苔色、苔質(zhì)的厚薄、腐膩、潤(rùn)燥屬性的標(biāo)簽分類；

所述的對(duì)采集到的舌象進(jìn)行一系列預(yù)處理的圖像操作包括顏色校正、舌體分割、陰影區(qū)域去除在內(nèi)的三個(gè)預(yù)處理操作，對(duì)自然環(huán)境下得到的舌象進(jìn)行校正，滿足后續(xù)識(shí)別的要求；

所述的用于舌整體特征提取的深度卷積神經(jīng)網(wǎng)絡(luò)，作為多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)網(wǎng)絡(luò)，共分為五層，由卷積層、激活層和池化層交替構(gòu)成的深度結(jié)構(gòu)，隱式地從給定的舌像數(shù)據(jù)中進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，避免了人工進(jìn)行顯式的特征提取；

所述的用于對(duì)舌面標(biāo)簽進(jìn)行定位的感興趣區(qū)域提取網(wǎng)絡(luò)，即RPN網(wǎng)絡(luò)，對(duì)舌面上不同屬性對(duì)應(yīng)的區(qū)域進(jìn)行檢測(cè)和劃分，用于下一階段網(wǎng)絡(luò)的分類訓(xùn)練；

所述的用于深度學(xué)習(xí)和訓(xùn)練識(shí)別的多任務(wù)深度卷積神經(jīng)網(wǎng)絡(luò)，由全連接層組成，對(duì)上一階段得到的各類標(biāo)簽候選區(qū)域進(jìn)行深層特征提取，輸入?yún)^(qū)域在網(wǎng)絡(luò)中進(jìn)行層層映射，得到不同的表示形式，提取其抽象特征，從而實(shí)現(xiàn)對(duì)舌象的深度表示；

所述用于深度學(xué)習(xí)和訓(xùn)練識(shí)別的多任務(wù)深度卷積神經(jīng)網(wǎng)絡(luò)中，根據(jù)所要識(shí)別的屬性種類構(gòu)建不同個(gè)數(shù)的子網(wǎng)絡(luò)，每個(gè)子網(wǎng)絡(luò)結(jié)構(gòu)相同，由全連接層組成，并在此之前加入了金字塔池化層進(jìn)行尺度歸一化；

子網(wǎng)絡(luò)利用全連接層對(duì)采樣后的候選區(qū)域進(jìn)行特征提取，候選區(qū)域共有9種尺寸，而全連接層要求輸入尺寸一致，故在此先利用金字塔池化層進(jìn)行尺度歸一化，再將其送入三個(gè)全連接層進(jìn)行深層特征提取，子網(wǎng)絡(luò)中全連接層輸出神經(jīng)元個(gè)數(shù)均設(shè)置為1024，得到1024維的特征向量；接著，將該特征向量分別送入兩個(gè)全連接層進(jìn)行特征壓縮，根據(jù)子網(wǎng)絡(luò)所需完成的具體任務(wù)對(duì)這兩個(gè)全連接層的輸出神經(jīng)元個(gè)數(shù)分別進(jìn)行設(shè)置，在子網(wǎng)絡(luò)一中設(shè)置為9和36，在子網(wǎng)絡(luò)二中設(shè)置為4和16；最后，將輸出值分別與真實(shí)標(biāo)簽值做對(duì)比，進(jìn)行損失函數(shù)的回歸約束；

以任一子網(wǎng)絡(luò)為例，多任務(wù)損失函數(shù)由公式(6)表示：

式中，類別損失函數(shù)由式(7)定義為：

位置回歸損失函數(shù)由式(8)定義為：

R是魯棒的損失函數(shù)smooth_L1，由式(9)表示為：

式中，N_cls和N_reg是為避免過(guò)擬合的正則項(xiàng)，λ為權(quán)重系數(shù)，i是該候選區(qū)域的類別索引值，t_i是該候選區(qū)域的預(yù)測(cè)坐標(biāo)偏移量，是該候選區(qū)域的實(shí)際坐標(biāo)偏移量，p_i是預(yù)測(cè)候選區(qū)域?qū)儆诘趇類的概率，表示其真實(shí)類別，表示背景類,表示非背景類；

通過(guò)這兩個(gè)損失函數(shù)分別計(jì)算預(yù)測(cè)值與給定真實(shí)值之間的誤差，利用反向傳播算法將誤差層層回傳，利用隨機(jī)梯度下降法對(duì)每層的參數(shù)進(jìn)行調(diào)整和更新，更新公式如式(10)所示，使得網(wǎng)絡(luò)的預(yù)測(cè)值更接近真實(shí)值，即最后兩個(gè)全連接層的輸出更接近給定標(biāo)注值中的類別和位置信息；

式中，w和w'分別為更新前后的參數(shù)值，E為通過(guò)損失函數(shù)層計(jì)算得到的誤差值，η為學(xué)習(xí)率。