[發明專利]內鏡檢查中智能化識別和記錄消化道組織和異物的方法

在審

• 申請號: 201910385762.0
• 申請日: 2019-05-09
• 公開（公告）號: CN110309329A
• 公開（公告）日: 2019-10-08
• 發明（設計）人: 曾凡;段惠峰;黃錦;柯欽瑜;黃勇;邰海軍
• 申請（專利權）人: 河南萱闈堂醫療信息科技有限公司
• 主分類號: G06F16/51
• 分類號: G06F16/51;G06F16/55;G06K9/62;G06T7/11;G06T7/136
• 代理公司: 鄭州中原專利事務所有限公司 41109
• 代理人: 李想

本發明公開了一種內鏡檢查中智能化識別和記錄消化道組織和異物的方法，將消化道內鏡檢測的的圖像進行分類存儲，建立深度學習神經網絡模型，將分類存儲的圖片數據隨機劃分為訓練集和測試集進行深度學習訓練的數據，獲取實時腸鏡圖片信息并進行向量網格化處理后輸入深度學習神經網絡模型中進行識別，具有快速精準、自主學習性的有益效果。

技術領域

本發明涉及圖像識別技術領域，具體涉及內鏡檢查中智能化識別和記錄消化道組織和異物的方法。

背景技術

對內鏡下消化道組織和異物的識別是消化內鏡視覺輔助診斷的基礎，只有識別出組織和異物，才能去分析和提示這些組織和異物的問題。傳統的消化道組織和異物的識別為醫生通過肉眼觀察發現消化道內異物或病變組織，準確發現和描述消化道組織和異物需要醫生具備豐富的經驗，并且醫生通過回憶方式記錄這些內容，若檢查次數過多，容易記錄混亂，此外，組織或異物的識別和記錄沒有科學的手段和方法，無法為后續的研究提供支持。

發明內容

為解決上述問題，本發明提供一種內鏡檢查中智能化識別和記錄消化道組織和異物的方法，具有自主學習性、訓練快速和識別精準的特點。

本發明通過以下技術方案實現：

內鏡檢查中智能化識別和記錄消化道組織和異物的方法，包括如下步驟：

h）：建立數據集：將自動批量抓取從消化道內鏡檢測中采集到的目標特征圖片分類存儲，以建立分類數據集；

i）：建立訓練集、驗證集和測試集：從各分類數據集中抽取一定比例的數據生成測試集；依據K折交叉驗證法將各分類數據集劃分為訓練集和驗證集，將所述的測試集、訓練集和驗證集進行數據向量化處理；

j）：建立深度學習神經網絡模型：根據3D卷積、最大池化、全鏈接神經元、數據扁平化和概率輸出創建卷積神經網絡模型，并對測試集、訓練集和驗證集進行正則化處理；

k）：對神經網絡模型進行訓練；

l）：對神經網絡模型進行測試：

使用訓練模型對向量正則化后的測試集進行測試，以測試其泛化能力和識別能力；

m）：獲取實時消化道內鏡視頻并對其進行識別和記錄： 獲取實時的消化道內鏡視頻圖像，將其均勻的分割為多個子區域，將每個子區域壓縮至神經網絡模型輸入的圖片格式大小，遍歷所述消化道內鏡圖像的所有子區域，并將每個子區域進行向量化，輸入到神經網絡模型中，模型返回識別概率向量，使用其中值最大的概率標量作為結果，判定概率標量是否大于標量閾值，若大于則將識別后的目標特征子區域進行存儲。

步驟i）中，所述一定比例的數據集為各分類數據集總數量的60%以上；

所述K折交叉驗證法為將各數據集劃分為K個分區，并進行K次圖片獲取，每次隨機獲取K-1個分區作為訓練集，并將剩余的一個分區作為驗證集以進行驗證。

步驟i）中，所述測試集、訓練集和驗證集進行向量化處理包括如下步驟：

i1）：創建圖片路徑向量imagePaths存儲單元，將每類數據集的地址信息依次存儲圖片路徑向量imagePaths中；

i2）：分別創建data和label存儲單元，遍歷imagePaths中的所有存儲圖片，將圖片進行壓縮，然后將圖片均值按列遍歷，拼接首尾行得到圖片向量；

i3）：將圖片向量的色值除255，以使得色值轉換為0至1范圍內的小數并依次存儲于data中，將圖片向量對應的類別名稱依次存入label中。

步驟j）中，神經網絡模型包括輸入層、第一卷積層、第一最大池化層、第二卷積層、第二最大池化層、第三卷積層、第三最大池化層，數據扁平過渡層、全鏈接數據層和概率輸出層。