[發(fā)明專(zhuān)利]一種兩階段深度遷移學(xué)習(xí)中醫(yī)舌診模型

有效

• 申請(qǐng)?zhí)枺?/td>: 202010005713.2
• 申請(qǐng)日: 2020-01-03
• 公開(kāi)（公告）號(hào): CN111223553B
• 公開(kāi)（公告）日: 2023-08-08
• 發(fā)明（設(shè)計(jì)）人: 陳志奎;張旭;高靜;李朋
• 申請(qǐng)（專(zhuān)利權(quán)）人: 大連理工大學(xué)
• 主分類(lèi)號(hào): G16H20/90
• 分類(lèi)號(hào): G16H20/90;G16H50/20;G06V40/10;G06V10/774;G06V10/80;G06V10/82;G06N3/0464
• 代理公司: 大連理工大學(xué)專(zhuān)利中心 21200
• 代理人: 梅洪玉

1.一種兩階段深度遷移學(xué)習(xí)中醫(yī)舌診模型的建構(gòu)方法，其特征在于，兩階段深度遷移學(xué)習(xí)中醫(yī)舌診模型需要三個(gè)階段：基于兩階段深度遷移學(xué)習(xí)的中醫(yī)舌診病灶特征識(shí)別，異常舌像的病灶檢測(cè)和標(biāo)注，異常舌像的判別；在基于兩階段深度遷移學(xué)習(xí)的中醫(yī)舌診病灶特征識(shí)別階段，定義兩階段的深度遷移學(xué)習(xí)，針對(duì)數(shù)據(jù)缺乏和訓(xùn)練開(kāi)銷(xiāo)問(wèn)題，針對(duì)性地獲取舌像診斷中代表性病灶特征的識(shí)別能力，并且建立高性能神經(jīng)網(wǎng)絡(luò)，基于深度卷積特征范式，將輸入舌像圖片轉(zhuǎn)換為向量，構(gòu)建對(duì)輸入數(shù)據(jù)的深層抽象表示；利用特征金字塔網(wǎng)絡(luò)對(duì)多尺度特征進(jìn)行融合；在異常舌像的病灶檢測(cè)和標(biāo)注階段，針對(duì)精確度問(wèn)題，利用大、中、小三種尺度進(jìn)行檢測(cè)，著重對(duì)小尺度病灶進(jìn)行檢測(cè)；形式化檢測(cè)代價(jià)函數(shù)，度量檢測(cè)結(jié)果；對(duì)于檢出的病灶，用邊界框標(biāo)注病灶范圍并予以記錄，保存檢測(cè)結(jié)果，以便后續(xù)利用；在異常舌像的判別階段，根據(jù)第二階段中檢索出的癥狀的數(shù)量及其嚴(yán)重程度，模擬中醫(yī)診療“眾診合參”過(guò)程進(jìn)行診斷，判斷病人具有何種異常舌像，為中醫(yī)舌診提供輔助決策；

(一)第一階段是基于兩階段深度遷移學(xué)習(xí)的中醫(yī)舌診病灶特征識(shí)別階段，具體步驟為：

1)構(gòu)建更深層的神經(jīng)網(wǎng)絡(luò)

構(gòu)建完成的神經(jīng)網(wǎng)絡(luò)包括53個(gè)卷積層，卷積層進(jìn)一步細(xì)分為單卷積層和多卷積層；此外，網(wǎng)絡(luò)中還包括用于實(shí)現(xiàn)上采樣和特征圖融合操作的Route層，以及實(shí)現(xiàn)ShortCut捷徑操作的由殘差模塊構(gòu)成的殘差層；進(jìn)一步的，集成SE塊到現(xiàn)有的殘差層中的殘差模塊上，對(duì)殘差層進(jìn)行優(yōu)化；

2)利用兩階段深度遷移學(xué)習(xí)的思想，分別采用基于樣本的遷移和基于模型的遷移手段，使模型在訓(xùn)練數(shù)據(jù)有限的情況下，得以掌握對(duì)模型間易于共享的低級(jí)特征進(jìn)行識(shí)別和提取的能力；

(1)采用基于樣本的深度遷移方法

首先使用成熟模型作為源域；訓(xùn)練的第一步是從這些數(shù)據(jù)集上獲得網(wǎng)絡(luò)的初始化權(quán)重，從而遷移對(duì)低級(jí)特征的學(xué)習(xí)能力，使得模型不需要從零開(kāi)始定義并掌握對(duì)共享低級(jí)特征的識(shí)別能力；接下來(lái)，采用深度遷移學(xué)習(xí)方法中的樣本遷移理論，針對(duì)性的選擇具有和病灶表現(xiàn)出的代表性形態(tài)特征相似的實(shí)體作為輸入，對(duì)模型進(jìn)行特化訓(xùn)練；異常舌像裂紋舌的代表性特征包括舌體上的明顯裂紋，這些裂紋和龜裂的大地呈現(xiàn)出的裂紋是有共性的；基于樣本的深度遷移基于這一理論，使用大地裂紋作為相似樣本輸入模型，將模型的權(quán)重進(jìn)行微調(diào)從而獲得對(duì)裂紋的識(shí)別能力；以此類(lèi)推，使得模型能夠從具有大樣本量的具有和病灶相似特征的樣本中，學(xué)習(xí)對(duì)病灶可能出現(xiàn)特定高級(jí)特征的判斷能力，在高層將低級(jí)特征重新組合成為符合中醫(yī)舌診要求的病灶特征；與此同時(shí)，采用圖像增強(qiáng)技術(shù)和實(shí)例遷移技術(shù)共同起到平衡數(shù)據(jù)集的作用；最后，原始訓(xùn)練數(shù)據(jù)和增強(qiáng)數(shù)據(jù)一起被發(fā)送至網(wǎng)絡(luò)，加載初始訓(xùn)練權(quán)重，獲得數(shù)據(jù)集的權(quán)重，測(cè)試樣本被載入網(wǎng)絡(luò)，同時(shí)前一步的權(quán)重被加載以獲得測(cè)試輸出；

(2)結(jié)合基于網(wǎng)絡(luò)的遷移方法，對(duì)步驟(1)中訓(xùn)練好的網(wǎng)絡(luò)架構(gòu)和重要參數(shù)進(jìn)行遷移并調(diào)整，使之更適用于具體任務(wù)；具體的：繼承源域神經(jīng)網(wǎng)絡(luò)的層作為特征提取器來(lái)提取通用特征；這些層在進(jìn)一步的訓(xùn)練中將大部分被凍結(jié)，全連接層和交互層則被重新訓(xùn)練以適應(yīng)具體任務(wù)，用于特征識(shí)別、特征融合和分類(lèi)；原始結(jié)構(gòu)和超參數(shù)將首先直接作為新的神經(jīng)網(wǎng)絡(luò)的一部分使用，并在其后微調(diào)以適應(yīng)異常舌像的檢測(cè)任務(wù)；

3)基于兩階段深度遷移學(xué)習(xí)的中醫(yī)舌診模型，以及基于兩階段深度遷移學(xué)習(xí)的思想構(gòu)造一個(gè)高性能的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的實(shí)現(xiàn)過(guò)程；構(gòu)建舌像特征提取和融合模塊，通過(guò)多個(gè)卷積層和抽樣層的堆疊，構(gòu)建深度特征抽取與多尺度特征融合網(wǎng)絡(luò)，包括反向參數(shù)更新計(jì)算和前向特征提取計(jì)算；在反向參數(shù)更新計(jì)算中，模型采用反向傳播算法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行更新，在前向特征提取過(guò)程中，模型涉及：(1)深度特征提取計(jì)算；(2)多尺度特征融合計(jì)算；其具體方式如下：

(1)網(wǎng)絡(luò)首先通過(guò)特征提取模塊進(jìn)行深度特征檢測(cè)和提取計(jì)算；網(wǎng)絡(luò)接受416*416維的圖像輸入，輸出13*13維的特征圖；具體地，首先使用3*3卷積層構(gòu)建特征提取模塊的主干網(wǎng)絡(luò)，在減少模型參數(shù)的同時(shí)增加模型深度；然后隨機(jī)向特征提取模塊的主干網(wǎng)絡(luò)添加1×1卷積層，在不過(guò)多增加網(wǎng)絡(luò)參數(shù)的前提下進(jìn)一步提高深度特征提取網(wǎng)絡(luò)的深度，最終提高模型的學(xué)習(xí)能力；

(2)特征融合模塊對(duì)特征圖進(jìn)行融合疊加，進(jìn)行多尺度特征融合計(jì)算；具體地，首先通過(guò)特征融合階段的卷積層自底至頂逐層構(gòu)建金字塔模型中的每層特征圖，逐層構(gòu)建輸入圖像的語(yǔ)義特征；然后通過(guò)上采樣操作自頂至底構(gòu)建金字塔模型中對(duì)應(yīng)層強(qiáng)語(yǔ)義特征，最后，通過(guò)通道疊加操作在Route層融合金字塔模型中對(duì)應(yīng)層特征，構(gòu)建最終輸出特征；通過(guò)Route層的上采樣實(shí)現(xiàn)特征圖的疊加，在特征提取模塊中的計(jì)算層，圖片被轉(zhuǎn)換成向量表示并輸入模型，分別在52*52、26*26以及13*13三種尺度上進(jìn)行特征圖的高層強(qiáng)語(yǔ)義特征與底層強(qiáng)結(jié)構(gòu)特征的融合，從而構(gòu)建特征融合模塊；

(二)第二階段是異常舌像病灶檢測(cè)和標(biāo)注階段，具體步驟為：

在異常舌像的病灶檢測(cè)中，一部分常見(jiàn)舌像病灶的尺寸相比整張圖片較小，需要從大、中、小三個(gè)尺度展開(kāi)多尺度檢測(cè)，強(qiáng)調(diào)對(duì)小尺度目標(biāo)的檢測(cè)能力；同時(shí)為了抑制圖片背景影響，需要對(duì)舌體進(jìn)行有效的標(biāo)記，保證病灶出現(xiàn)在舌體上；在病灶檢測(cè)計(jì)算中，模型不僅要檢測(cè)出輸入的圖像中是否包含病灶及其對(duì)應(yīng)的數(shù)量，而且還要分別提供其位置信息；即：模型要在檢測(cè)圖像中準(zhǔn)確標(biāo)注出邊界框；

通過(guò)病灶中心位置信息、邊界框的寬高信息、邊界框的置信度信息以及所屬類(lèi)別置信度信息4種信息構(gòu)建病灶檢測(cè)計(jì)算的網(wǎng)絡(luò)輸出層，作為后續(xù)判斷病癥和為異常舌像進(jìn)行分類(lèi)的依據(jù)；同時(shí)，基于均方差誤差函數(shù)設(shè)計(jì)代價(jià)函數(shù)，包括預(yù)測(cè)邊界框中心坐標(biāo)損失、預(yù)測(cè)邊界框?qū)捀邠p失、預(yù)測(cè)邊界框置信度損失和預(yù)測(cè)類(lèi)別置信度損失；具體地：

預(yù)測(cè)邊界框中心坐標(biāo)損失E₁的形式化定義如下：

其中，N表示病灶檢測(cè)器輸出結(jié)果個(gè)數(shù)；I_i表示第i個(gè)輸出結(jié)果中是否包含病灶目標(biāo)，I_i＝1表示包含，I_i＝0表示不包含；t_w,t_h表示病灶目標(biāo)真實(shí)邊界框的高度和寬度，t_w×t_h即能得到病灶目標(biāo)邊界框的相對(duì)面積，取值范圍(0,1)，用于加權(quán)預(yù)測(cè)的邊界框；t_x,t_y表示病灶目標(biāo)的真實(shí)中心坐標(biāo)位置，b_x,b_y表示預(yù)測(cè)的病灶目標(biāo)中心點(diǎn)坐標(biāo)位置；

預(yù)測(cè)邊界框?qū)捀邠p失E₂的形式定如下：

其中，t_w,t_h表示病灶目標(biāo)真實(shí)邊界框的高度和寬度，b_w,b_h表示病灶目標(biāo)預(yù)測(cè)邊界框的高度和寬度；

預(yù)測(cè)邊界框置信度損失E₃的形式定義如下：

其中，t_c表示病灶目標(biāo)邊界框真實(shí)置信度，p_c表示網(wǎng)絡(luò)預(yù)測(cè)的病灶目標(biāo)邊界框置信度；

預(yù)測(cè)類(lèi)別置信度損失E₄的形式定義如下：

E₄＝(I_i-p_i)²??????????????????????????????(13)

其中，p_i表示預(yù)測(cè)的置信度或者概率；

整體檢測(cè)代價(jià)函數(shù)形式化定義如下：

其中，E₁表示預(yù)測(cè)邊界框中心坐標(biāo)損失，E₂表示預(yù)測(cè)邊界框?qū)捀邠p失，E₃表示預(yù)測(cè)邊界框置信度損失，E₄表示預(yù)測(cè)類(lèi)別置信度損失；

(三)第三階段是異常舌像判別階段，具體步驟為：

利用異常舌像判別模塊，根據(jù)檢測(cè)到的病灶實(shí)現(xiàn)異常舌像的分類(lèi)；區(qū)別于傳統(tǒng)方法使用整張圖片輸入神經(jīng)網(wǎng)絡(luò)直接對(duì)其進(jìn)行分類(lèi)，通過(guò)目標(biāo)檢測(cè)方法記錄檢測(cè)出的病灶及其置信度定義的嚴(yán)重程度，依此定義分類(lèi)算法，模擬中醫(yī)診療中“眾診合參”的重要思想，根據(jù)檢出病灶的數(shù)量及其嚴(yán)重程度做出綜合判定，最終為病人具有何種異常舌像進(jìn)行判斷和劃分，從而為中醫(yī)舌診提供輔助決策。