[發明專利]基于深度學習的胃鏡操作實時輔助系統及方法

有效

• 申請號: 201711394696.0
• 申請日: 2017-12-21
• 公開（公告）號: CN107967946B
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 于紅剛;萬新月;胡珊
• 申請（專利權）人: 武漢楚精靈醫療科技有限公司
• 主分類號: G16H50/30
• 分類號: G16H50/30;G06T7/00;G06N3/04;A61B1/00;A61B1/273
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 張火春

1.一種基于深度學習的胃鏡操作實時輔助系統，其特征在于：它包括：

至少一個客戶端，用于監聽并通過網絡上傳當前胃鏡設備采集的胃鏡圖像，接收和顯示反饋的分析結果；每個客戶端對應一臺胃鏡設備；

服務端，用于采用REST架構，根據從客戶端采集的胃鏡圖像，即時判斷胃鏡圖像對應的部位及部位特征，將分析結果反饋給客戶端；一個服務器對應若干個客戶端；

所述的服務端包括樣本數據庫、卷積神經網絡模型和web服務模塊；其中，

樣本數據庫用于存儲典型胃鏡圖像的樣本，包括合格圖片庫、部位庫和部位特征庫，合格圖片庫中存儲的是拍攝清楚的胃鏡圖像，部位庫中存儲的是對合格圖片中的物體形態進行部位標注的胃鏡圖像，部位特征庫中存儲的是對合格圖片中的胃鏡圖像進行病變標注的胃鏡圖像；

卷積神經網絡模型為根據合格圖片庫、部位庫和部位特征庫訓練好的三個模型，分別用于胃鏡圖像是否合格、部位判斷和部位特征識別；

Web服務模塊用于接收客戶端的請求，將接收到的胃鏡圖像作為參數調用卷積神經網絡模型進行胃鏡圖像是否合格、部位判斷和部位特征識別的分析，得到分析結果反饋給客戶端；

所述的部位庫中包含所需要的所有部位，即：口咽部、食管、賁門、胃底、胃體、胃角、胃竇、幽門、十二指腸球部和降部；在進行部位判斷時，必須包含所有上述部位的胃鏡圖像的識別，若缺少其中的部位，則發出提示給客戶端；

所述的客戶端包括通信模塊和圖像演示模塊；其中，

通信模塊用于發送請求到服務端，及從服務端獲取分析結果；

圖像演示模塊用于根據獲取的分析結果，調用表示各部位的圖片和部位特征的標記進行疊加展示。

2.一種權利要求1所述的基于深度學習的胃鏡操作實時輔助系統的操作方法，其特征在于：它包括以下步驟：

S1、當胃鏡設備進行圖像采集，客戶端被觸發獲取鎖采集的胃鏡圖像，并上傳至服務端；

S2、服務端接收胃鏡圖像作為參數，調用卷積神經網絡模型進行識別：

首先判斷胃鏡圖像是否為合格圖片，若不合格則輸出分析結果為不合格；

當胃鏡圖像判斷為合格圖片后，識別該胃鏡圖像中的具體部位和部位特征并輸出；

S3、客戶端接收并顯示分析結果；

S4、操作人員根據客戶端顯示的分析結果進行下一步操作：

當分析結果為不合格時，繼續采集胃鏡圖像；當識別出的具體部位不夠完整時繼續采集遺漏的部位；當識別出的具體部位完整時，結束操作；

所述的S2中，所述的部位包括口咽部、食管、賁門、胃底、胃體、胃角、胃竇、幽門、十二指腸球部和降部；在進行部位判斷時，必須包含所有上述部位的胃鏡圖像的識別，若缺少其中的部位，則發出提示；

所述的部位特征包括NBI癌、NBI正常、白光癌和白光正常；

所述的S3具體為：

根據獲取的分析結果，調用表示各部位的圖片和部位特征的標記進行疊加展示；

所述的客戶端實時記錄采集的胃鏡圖像的數量、服務端發回的部位數量及部位特征數量，并進行顯示。