[發(fā)明專利]面向生物醫(yī)學文獻的跨模態(tài)圖像模式識別方法

有效

• 申請?zhí)枺?/td>: 201810575135.9
• 申請日: 2018-06-05
• 公開（公告）號: CN108960073B
• 公開（公告）日: 2020-07-24
• 發(fā)明（設(shè)計）人: 林鴻飛;于玉海;趙哲煥
• 申請（專利權(quán)）人: 大連理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 大連智高專利事務所(特殊普通合伙) 21235
• 代理人: 劉斌

1.一種面向生物醫(yī)學文獻的跨模態(tài)圖像模式識別方法，其特征在于，步驟包括

R1.訓練跨模態(tài)復合圖像探測模型；

R2.訓練跨模態(tài)復合圖像多標簽分類模型；

R3.訓練跨模態(tài)簡單圖像模式分類模型；

R4.獲取至少一個生物醫(yī)學文獻中的待識別圖像及其說明文本；

R5.利用預先訓練的跨模態(tài)復合圖像探測模型對圖像和文本進行處理，判斷待識別圖像是否為復合圖像；

R6.若R5的輸出為復合圖像，利用預先訓練的跨模態(tài)復合圖像多標簽分類模型對圖像和文本進行處理，以輸出復合圖像子圖的生物醫(yī)學模式類別；

R7.若R5的輸出為簡單圖像，利用預先訓練的跨模態(tài)簡單圖像模式分類模型對圖像和文本進行處理，以輸出簡單圖像的生物醫(yī)學模式類別。

2.根據(jù)權(quán)利要求1所述的一種面向生物醫(yī)學文獻的跨模態(tài)圖像模式識別方法，其特征在于，包括以下離線訓練階段和在線識別階段，其中，離線訓練階段包括以下步驟：

R1、訓練跨模態(tài)復合圖像探測模型：

A1：首先，采用視覺深度卷積神經(jīng)網(wǎng)絡(luò)搭建基于圖像內(nèi)容的復合圖像探測模型；

A2：其次，采用基于文本信息的卷積神經(jīng)網(wǎng)絡(luò)搭建文本復合圖像探測模型，所述的卷積神經(jīng)網(wǎng)絡(luò)包括詞嵌入層、卷積層、池化層、全連接層，首先，從大規(guī)模生物醫(yī)學文獻中，抽取圖像說明文本，使用詞向量訓練工具，將所有說明文本中出現(xiàn)的單詞處理簡化為V維向量空間中的向量詞典，根據(jù)訓練集和測試集說明文本，生成嵌入層速查表詞典；其次，在詞嵌入層后面，連接一維卷積層，抽取輸入序列的局部特征；然后，卷積層后面連接池化層，選擇全局最大值操作，捕獲最有用的局部特征，獲得固定大小的全局特征向量；最后，連接兩個全連接層；

A3：最后，搭建跨模態(tài)復合圖像探測模型：使用已標注復合圖像和簡單圖像及相關(guān)說明文本，從頭訓練視覺及文本兩種模態(tài)的網(wǎng)絡(luò)后，進行決策級融合，得到更符合樣本真實類別的置信值；

R2、訓練跨模態(tài)復合圖像多標簽分類模型：

A1：首先，采用基于視覺內(nèi)容的極深卷積神經(jīng)網(wǎng)絡(luò)搭建復合圖像多標簽分類模型，所述的極深卷積神經(jīng)網(wǎng)絡(luò)，最后一層全連接層包含N個神經(jīng)元，其激活函數(shù)為Sigmoid函數(shù)，用來預測N個標簽類別的相關(guān)后驗概率；

A2：其次，搭建基于文本信息的卷積神經(jīng)網(wǎng)絡(luò)模型，與R1中文本復合圖像探測模型結(jié)構(gòu)相似，不同之處是，最后一層全連接層包含N個神經(jīng)元，其激活函數(shù)為Sigmoid函數(shù)，用來預測N種標簽的相關(guān)后驗概率；

A3：最后，搭建跨模態(tài)復合圖像多標簽分類模型，所述模型采用局部微調(diào)的方式，從自然圖像異質(zhì)遷移學習通用領(lǐng)域的一般特征，從生物醫(yī)學簡單圖像同質(zhì)遷移學習生物醫(yī)學領(lǐng)域的專有特征，融合基于文本信息的一維卷積神經(jīng)網(wǎng)絡(luò)，識別復合圖像的子圖的生物醫(yī)學模式類別，其中，融合視覺和文本模型時，采用全局擇優(yōu)法和均值法相結(jié)合的分步融合方式，為當前樣本標定標簽， 具體來說，首先依照閾值M，根據(jù)圖像模型輸出的后驗概率，將高于閾值的標簽加入到相關(guān)標簽集；如果某樣本的相關(guān)標簽集為空，計算圖像模型和文本模型輸出的所有標簽的概率平均值，取最大K個平均概率的標簽為相關(guān)標簽；

R3、訓練跨模態(tài)簡單圖像模式分類模型：

A1：首先，搭建基于圖像內(nèi)容的簡單圖像模式分類模型，所述視覺模型集成具有顯著多樣性的若干子模型，包括D種深度差異較大的卷積神經(jīng)網(wǎng)絡(luò)；視覺集成模型的子模型采用不同的訓練方式；首先，極深的深度卷積神經(jīng)網(wǎng)絡(luò)在歸納式遷移學習基礎(chǔ)上完成訓練；具體來說，使用通用領(lǐng)域的大規(guī)模自然圖像訓練網(wǎng)絡(luò)后，使得模型對圖像類型的輸入能夠收斂，以此為基礎(chǔ)再從醫(yī)學圖像中學習領(lǐng)域?qū)Ｓ刑卣鳎瑢崿F(xiàn)跨領(lǐng)域異質(zhì)遷移學習；然后，對于稍淺的深度卷積神經(jīng)網(wǎng)絡(luò)，采用從頭訓練的方法，捕獲更多的生物醫(yī)學領(lǐng)域特征；

A2：其次，搭建基于文本信息的簡單圖像模式分類模型，所述文本模型采用卷積神經(jīng)網(wǎng)絡(luò)，與R2中復合圖像多標簽分類文本模型結(jié)構(gòu)相似，最后一層全連接層包含N個神經(jīng)元，不同之處是其激活函數(shù)為Softmax函數(shù)，用來預測N種標簽的后驗概率；

A3：最后，搭建跨模態(tài)簡單圖像模式分類模型，所述模型通過集成多種深度的卷積神經(jīng)網(wǎng)絡(luò)從圖像內(nèi)容中學習多樣性的生物醫(yī)學模式特征，采用局部微調(diào)的方式將自然圖像的通用特征歸納式遷移學習到生物醫(yī)學領(lǐng)域，融合基于文本信息的一維卷積神經(jīng)網(wǎng)絡(luò)，識別簡單圖像的生物醫(yī)學模式類別，其中，融合視覺和文本模型時，采用決策級融合策略，具體來說，利用已標注簡單圖像訓練網(wǎng)絡(luò)后，通過投票系統(tǒng)合并子模型對每個模式的置信值，提高融合系統(tǒng)的置信度，進而確定輸入樣本的模式類別；

在線識別階段包括以下步驟：

R4、獲取至少一個生物醫(yī)學文獻中的待識別圖像及其說明文本：

從生物醫(yī)學文獻中提取待識別的圖像及其說明文本；

R5、利用預先訓練的跨模態(tài)復合圖像探測模型對圖像和文本進行處理，判斷待識別圖像是否為復合圖像：

將R4中獲取的圖像和說明文本，分別輸入到R1的視覺和文本復合圖像探測模型，得到兩種模態(tài)的復合圖像預測后驗概率，計算概率向量平均值后，根據(jù)向量最高值元素位置，輸出待識別圖像為復合圖像或者簡單圖像；

R6、利用預先訓練的跨模態(tài)復合圖像多標簽分類模型對圖像和文本進行處理，以輸出復合圖像子圖的生物醫(yī)學模式類別：

若R5的輸出為復合圖像，則將R4中獲取的圖像和文本，分別輸入到R2的視覺和文本復合圖像多標簽分類模型，根據(jù)分段式融合策略，按照預測的后驗概率向量和閾值M，輸出相關(guān)生物醫(yī)學模式類別集合；

R7、利用預先訓練的跨模態(tài)簡單圖像模式分類模型對圖像和文本進行處理，以輸出簡單圖像的生物醫(yī)學模式類別：

若R5的輸出為簡單圖像，則將R4中獲取的圖像和文本，分別輸入到R3的視覺和文本模式分類模型，得到兩種模態(tài)的生物醫(yī)學模式預測后驗概率，計算概率向量的平均值后，根據(jù)向量最高值元素位置，輸出生物醫(yī)學模式類別。