[發(fā)明專利]內(nèi)鏡檢查中智能化識(shí)別和記錄消化道組織和異物的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910385762.0
• 申請(qǐng)日: 2019-05-09
• 公開（公告）號(hào): CN110309329A
• 公開（公告）日: 2019-10-08
• 發(fā)明（設(shè)計(jì)）人: 曾凡;段惠峰;黃錦;柯欽瑜;黃勇;邰海軍
• 申請(qǐng)（專利權(quán)）人: 河南萱闈堂醫(yī)療信息科技有限公司
• 主分類號(hào): G06F16/51
• 分類號(hào): G06F16/51;G06F16/55;G06K9/62;G06T7/11;G06T7/136
• 代理公司: 鄭州中原專利事務(wù)所有限公司 41109
• 代理人: 李想

1.內(nèi)鏡檢查中智能化識(shí)別和記錄消化道組織和異物的方法，其特征在于：包括如下步驟：

h）：建立數(shù)據(jù)集：將自動(dòng)批量抓取從消化道內(nèi)鏡檢測(cè)中采集到的目標(biāo)特征圖片分類存儲(chǔ)，以建立分類數(shù)據(jù)集；

i）：建立訓(xùn)練集、驗(yàn)證集和測(cè)試集：從各分類數(shù)據(jù)集中抽取一定比例的數(shù)據(jù)生成測(cè)試集；依據(jù)K折交叉驗(yàn)證法將各分類數(shù)據(jù)集劃分為訓(xùn)練集和驗(yàn)證集，將所述的測(cè)試集、訓(xùn)練集和驗(yàn)證集進(jìn)行數(shù)據(jù)向量化處理；

j）：建立深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型：根據(jù)3D卷積、最大池化、全鏈接神經(jīng)元、數(shù)據(jù)扁平化和概率輸出創(chuàng)建卷積神經(jīng)網(wǎng)絡(luò)模型，并對(duì)測(cè)試集、訓(xùn)練集和驗(yàn)證集進(jìn)行正則化處理；

k）：對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

l）：對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行測(cè)試：

使用訓(xùn)練模型對(duì)向量正則化后的測(cè)試集進(jìn)行測(cè)試，以測(cè)試其泛化能力和識(shí)別能力；

m）：獲取實(shí)時(shí)消化道內(nèi)鏡視頻并對(duì)其進(jìn)行識(shí)別和記錄：獲取實(shí)時(shí)的消化道內(nèi)鏡視頻圖像，將其均勻的分割為多個(gè)子區(qū)域，將每個(gè)子區(qū)域壓縮至神經(jīng)網(wǎng)絡(luò)模型輸入的圖片格式大小，遍歷所述消化道內(nèi)鏡圖像的所有子區(qū)域，并將每個(gè)子區(qū)域進(jìn)行向量化，輸入到神經(jīng)網(wǎng)絡(luò)模型中，模型返回識(shí)別概率向量，使用其中值最大的概率標(biāo)量作為結(jié)果，判定概率標(biāo)量是否大于標(biāo)量閾值，若大于則將識(shí)別后的目標(biāo)特征子區(qū)域進(jìn)行存儲(chǔ)。

2.根據(jù)權(quán)利要求1所述的內(nèi)鏡檢查中智能化識(shí)別和記錄消化道組織和異物的方法，其特征在于：步驟i）中，所述一定比例的數(shù)據(jù)集為各分類數(shù)據(jù)集總數(shù)量的60%以上；

所述K折交叉驗(yàn)證法為將各數(shù)據(jù)集劃分為K個(gè)分區(qū)，并進(jìn)行K次圖片獲取，每次隨機(jī)獲取K-1個(gè)分區(qū)作為訓(xùn)練集，并將剩余的一個(gè)分區(qū)作為驗(yàn)證集以進(jìn)行驗(yàn)證。

3.根據(jù)權(quán)利要求1所述的內(nèi)鏡檢查中智能化識(shí)別和記錄消化道組織和異物的方法，其特征在于：步驟i）中，所述測(cè)試集、訓(xùn)練集和驗(yàn)證集進(jìn)行向量化處理包括如下步驟：

i1）：創(chuàng)建圖片路徑向量imagePaths存儲(chǔ)單元，將每類數(shù)據(jù)集的地址信息依次存儲(chǔ)圖片路徑向量imagePaths中；

i2）：分別創(chuàng)建data和label存儲(chǔ)單元，遍歷imagePaths中的所有存儲(chǔ)圖片，將圖片進(jìn)行壓縮，然后將圖片均值按列遍歷，拼接首尾行得到圖片向量；

i3）：將圖片向量的色值除255，以使得色值轉(zhuǎn)換為0至1范圍內(nèi)的小數(shù)并依次存儲(chǔ)于data中，將圖片向量對(duì)應(yīng)的類別名稱依次存入label中。

4.根據(jù)權(quán)利要求1所述的內(nèi)鏡檢查中智能化識(shí)別和記錄消化道組織和異物的方法，其特征在于：步驟j）中，神經(jīng)網(wǎng)絡(luò)模型包括輸入層、第一卷積層、第一最大池化層、第二卷積層、第二最大池化層、第三卷積層、第三最大池化層，數(shù)據(jù)扁平過渡層、全鏈接數(shù)據(jù)層和概率輸出層。

5.根據(jù)權(quán)利要求1所述的內(nèi)鏡檢查中智能化識(shí)別和記錄消化道組織和異物的方法，其特征在于：步驟k）中所述神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的方法為：設(shè)置神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù)，初始化各層網(wǎng)絡(luò)參數(shù)，輸入向量正則化后的訓(xùn)練集和驗(yàn)證集進(jìn)行訓(xùn)練，設(shè)置均方根誤差作為優(yōu)化器，通過多分類交叉熵?fù)p失值的梯度下降，對(duì)各層網(wǎng)絡(luò)中權(quán)值參數(shù)進(jìn)行更新，以得到訓(xùn)練模型。

6.根據(jù)權(quán)利要求1所述的內(nèi)鏡檢查中智能化識(shí)別和記錄消化道組織和異物的方法，其特征在于：步驟m）中，所述標(biāo)量閾值為95%，所述實(shí)時(shí)的消化道內(nèi)鏡圖像均勻分割為多個(gè)子區(qū)域包括如下步驟：

m1）：獲取內(nèi)鏡實(shí)時(shí)圖像的圖像寬度和圖像高度，將圖像寬度和圖像高度均除十以將所述消化道內(nèi)鏡圖像分割為100個(gè)子區(qū)域；

m2）：遍歷所有子區(qū)域，壓縮所有子區(qū)域圖片，將各子區(qū)域圖片向量化，并將向量化后的各子區(qū)域的色值除255，將RGB三個(gè)通道的值壓縮為0至1范圍內(nèi)的小數(shù)。