[發(fā)明專利]基于雙門控遞歸單元解碼的喉鏡圖像識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010882806.3
• 申請(qǐng)日: 2020-08-28
• 公開(kāi)（公告）號(hào): CN112052889B
• 公開(kāi)（公告）日: 2023-05-05
• 發(fā)明（設(shè)計(jì)）人: 緱水平;劉寧濤;馬蘭;李國(guó)棟;毛莎莎;童諾;姚瑤;李陽(yáng)陽(yáng)
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06V20/50
• 分類號(hào): G06V20/50;G06V10/82;G06V10/774;G06V10/80;G06N3/0464;G06N3/0442;G06N3/0455;G06N3/048;G06N3/047;G06N3/084
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 王品華;黎漢華

1.一種基于雙門控制循環(huán)單元解碼的喉鏡圖像識(shí)別方法，其特征在于，包括如下：

(1)獲取患者的喉鏡圖像，記為喉鏡數(shù)據(jù)集P，并取得對(duì)應(yīng)喉鏡圖像的醫(yī)學(xué)文本報(bào)告集合，記為Q；

(2)由醫(yī)學(xué)文本報(bào)告集合Q獲取標(biāo)簽數(shù)據(jù)集R：

(2a)對(duì)Q中所有報(bào)告進(jìn)行分詞操作得到詞庫(kù)，并對(duì)詞庫(kù)進(jìn)行one-hot編碼操作進(jìn)而得到每個(gè)詞的one-hot向量，并得到詞語(yǔ)one-hot編碼映射矩陣D；

(2b)將報(bào)告中的每個(gè)詞語(yǔ)使用對(duì)應(yīng)的one-hot向量表示，得到標(biāo)簽數(shù)據(jù)集R；

(3)獲取訓(xùn)練數(shù)據(jù)集T：

(3a)將喉鏡數(shù)據(jù)集P中每張圖像縮小到224×224，并對(duì)縮小后的每張圖像進(jìn)行中心化，使每個(gè)通道像素均值為0，再?gòu)闹行幕蟮暮礴R圖像中取出一張喉鏡圖像，記為Z，將P中剩余喉鏡圖像組成中心化后的喉鏡數(shù)據(jù)集，記為P'；

(3b)將中心化后的喉鏡數(shù)據(jù)集P'與標(biāo)簽數(shù)據(jù)集R進(jìn)行合并，得到訓(xùn)練數(shù)據(jù)集T；

(4)構(gòu)建雙門控制循環(huán)網(wǎng)絡(luò)M并進(jìn)行初始化：

構(gòu)造包括1個(gè)卷積神經(jīng)網(wǎng)絡(luò)和2個(gè)門控遞歸單元的雙門控制循環(huán)網(wǎng)絡(luò)M，卷積網(wǎng)絡(luò)的輸出特征作為第一門控遞歸單元和第二門控遞歸單元的輸入，第一門控遞歸單元用于提取注意力權(quán)重，第二門控遞歸單元使用卷積網(wǎng)絡(luò)的輸出和注意力權(quán)重獲取喉鏡數(shù)據(jù)集P'的輸出；

將中心化后的喉鏡數(shù)據(jù)集P'作為該雙門控制循環(huán)網(wǎng)絡(luò)M的輸入，使用均勻分布初始化雙門控制循環(huán)網(wǎng)絡(luò)M的權(quán)重W，將雙門控制循環(huán)網(wǎng)絡(luò)M的偏置b均初始化為數(shù)值0，

將中心化后的喉鏡數(shù)據(jù)集P'對(duì)應(yīng)的醫(yī)學(xué)報(bào)告作為雙門控制循環(huán)網(wǎng)絡(luò)M的期望輸出；

(5)使用訓(xùn)練數(shù)據(jù)集T，訓(xùn)練雙門控制循環(huán)網(wǎng)絡(luò)M：

(5a)打亂訓(xùn)練數(shù)據(jù)集T中圖像的順序，從中選擇32個(gè)喉鏡圖像及其標(biāo)簽，記為一個(gè)訓(xùn)練批次{I,C}，其中I為一個(gè)訓(xùn)練批次中的喉鏡圖像，C為與I對(duì)應(yīng)的醫(yī)學(xué)文本報(bào)告標(biāo)簽；

(5b)將喉鏡圖像I輸入到雙門控制循環(huán)網(wǎng)絡(luò)M，經(jīng)過(guò)雙門控制循環(huán)網(wǎng)絡(luò)M的前向傳播得到喉鏡圖像I對(duì)應(yīng)的輸出O，計(jì)算輸出O與醫(yī)學(xué)文本報(bào)告標(biāo)簽C之間的交叉熵，得到雙門控制循環(huán)網(wǎng)絡(luò)M的損失函數(shù)L；

(5c)使用自適應(yīng)學(xué)習(xí)率優(yōu)化算法Adam優(yōu)化雙門控制循環(huán)網(wǎng)絡(luò)M的損失函數(shù)L，即設(shè)初始學(xué)習(xí)速率η＝0.0001，使用誤差反向傳播機(jī)制對(duì)雙門控制循環(huán)網(wǎng)絡(luò)M的權(quán)重W和偏置b進(jìn)行更新；

(5d)重復(fù)(5a)到(5c)，直到達(dá)到最大迭代次數(shù)N＝3000，得到訓(xùn)練好的雙門控制循環(huán)網(wǎng)絡(luò)M；

(6)利用訓(xùn)練好的雙門控制循環(huán)網(wǎng)絡(luò)M獲得測(cè)試數(shù)據(jù)喉鏡圖像Z的報(bào)告：

(6a)將測(cè)試數(shù)據(jù)喉鏡圖像Z輸入到訓(xùn)練好的雙門控制循環(huán)網(wǎng)絡(luò)M中，經(jīng)過(guò)雙門控制循環(huán)網(wǎng)絡(luò)M中卷積神經(jīng)網(wǎng)絡(luò)的前向傳播，得到光學(xué)喉鏡圖像Z的特征向量S；

(6b)將光學(xué)喉鏡圖像Z的特征輸入到雙門控制循環(huán)網(wǎng)絡(luò)M中的第一個(gè)門控遞歸單元進(jìn)行前向傳播，得到注意力權(quán)重A；

(6c)將光學(xué)喉鏡圖像Z的特征向量S與注意力權(quán)重A相乘后，輸入到雙門控制循環(huán)網(wǎng)絡(luò)M中的第二個(gè)門控遞歸單元進(jìn)行前向傳播，得到光學(xué)喉鏡圖像Z的醫(yī)學(xué)報(bào)告的輸出O，并依據(jù)詞語(yǔ)one-hot編碼轉(zhuǎn)換映射矩陣D得到Z的醫(yī)學(xué)文本報(bào)告；

(6d)根據(jù)輸出O和(2a)中獲取的詞語(yǔ)one-hot編碼映射矩陣D，得到光學(xué)喉鏡圖像Z的醫(yī)學(xué)文本報(bào)告。

2.根據(jù)權(quán)利要求1所述的方法，其中步驟(3a)中對(duì)縮小后的每張圖像中心化，是用縮小后圖像每個(gè)點(diǎn)的像素值減去(104，116，122)，得到中心化后圖像的像素值(x',y',z')：

(x',y',z')＝(x-104,y-116,z-122)

其中，(x,y,z)為原始圖像的像素值。