[發(fā)明專利]基于深度學(xué)習(xí)的氣管鏡圖像特征比對標(biāo)記系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202011507809.5
• 申請日: 2020-12-18
• 公開（公告）號: CN112614103A
• 公開（公告）日: 2021-04-06
• 發(fā)明（設(shè)計）人: 孫加源;劉奇為;謝芳芳;李營;吳煒進(jìn)
• 申請（專利權(quán)）人: 上海市胸科醫(yī)院;上海鏡影信息科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N20/00;G06N3/02;G06K9/62
• 代理公司: 上海雙霆知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31415
• 代理人: 張驥

本發(fā)明公開了一種基于深度學(xué)習(xí)的氣管鏡圖像特征比對標(biāo)記系統(tǒng)，包括：輸入層，用于接收氣管鏡所采集的氣管鏡圖像，并對所接收的氣管鏡圖像進(jìn)行識別，然后將識別出的體內(nèi)圖像傳遞給判斷層；判斷層，對來自于所述輸入層的體內(nèi)圖像進(jìn)行識別，判斷該體內(nèi)圖像所對應(yīng)的部位、判斷是否存在病變部位以及病變部位的良惡性，然后將識別結(jié)果反饋給輸出層；以及輸出層，用于將來自于所述判斷層的識別結(jié)果進(jìn)行顯示。本發(fā)明還公開了一種基于深度學(xué)習(xí)的氣管鏡圖像特征比對標(biāo)記方法。本發(fā)明通過對氣管鏡圖像進(jìn)行特征比對，能夠?qū)夤茜R下中央型肺部腫瘤病灶部位進(jìn)行識別。

技術(shù)領(lǐng)域

本發(fā)明涉及一種圖像處理系統(tǒng)，具體涉及一種基于深度學(xué)習(xí)的氣管鏡圖像特征比對標(biāo)記系統(tǒng)。本發(fā)明還涉及一種基于深度學(xué)習(xí)的氣管鏡圖像特征比對標(biāo)記方法。

背景技術(shù)

中央型肺癌，是指病變發(fā)生在段口以上支氣管的腫瘤。由于其發(fā)生在較大的支氣管，一般電子氣管鏡檢查都能發(fā)現(xiàn)。氣管鏡檢查不僅可以直接了解支氣管腫瘤的發(fā)生部位、形態(tài)及大小，同時還可通過活檢和刷檢明確腫瘤的病理組織類型，為手術(shù)、放療和化療提供重要的依據(jù)。因此，使用氣管鏡檢查中央型肺癌是目前最重要、最可靠的診斷方法。然而，氣管鏡檢查對操作內(nèi)鏡的醫(yī)生的臨床經(jīng)驗和狀態(tài)有較高的依賴性，高負(fù)荷的氣管鏡檢查會降低氣管鏡的檢查質(zhì)量，容易出現(xiàn)檢查覆蓋不全，病灶檢出不全等問題。

對于管腔內(nèi)病變，除了特殊光氣管鏡檢查(熒光氣管鏡、窄譜氣管鏡)外，目前尚無特別區(qū)分良惡性病變的手段。熒光氣管鏡檢查的特點是靈敏度高、特異度低，容易發(fā)現(xiàn)病變但區(qū)分病變良惡性差；而窄譜氣管鏡檢查的特點是只能觀察病變處血管情況，尚不能區(qū)分病變良惡。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是提供一種基于深度學(xué)習(xí)的氣管鏡圖像特征比對標(biāo)記系統(tǒng)，它可以對氣管鏡圖像進(jìn)行特征比對并進(jìn)行標(biāo)記。

為解決上述技術(shù)問題，本發(fā)明基于深度學(xué)習(xí)的氣管鏡圖像特征比對標(biāo)記系統(tǒng)的技術(shù)解決方案為，包括：

輸入層，用于接收氣管鏡所采集的氣管鏡圖像，并對所接收的氣管鏡圖像進(jìn)行識別，然后將識別出的體內(nèi)圖像傳遞給判斷層；

在另一實施例中，所述輸入層包括：圖像采集模塊，用于接收來自氣管鏡的圖像；以及輸入層卷積神經(jīng)網(wǎng)絡(luò)模型；所述輸入層卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)一步包括：模型一，用于合格氣管鏡圖像的識別；所述模型一為根據(jù)合格圖像庫訓(xùn)練完成的卷積神經(jīng)網(wǎng)絡(luò)模型；模型二，用于體內(nèi)/體外圖像的識別；所述模型二為根據(jù)體內(nèi)/體外圖像庫訓(xùn)練完成的卷積神經(jīng)網(wǎng)絡(luò)模型。

判斷層，對來自于所述輸入層的體內(nèi)圖像進(jìn)行識別，判斷該體內(nèi)圖像所對應(yīng)的部位、判斷是否存在病變部位以及病變部位的良惡性，然后將識別結(jié)果反饋給輸出層；所述判斷層包括判斷層卷積神經(jīng)網(wǎng)絡(luò)模型；所述判斷層卷積神經(jīng)網(wǎng)絡(luò)模型包括模型三和模型四，模型三為根據(jù)部位屬性圖像庫訓(xùn)練完成的模型，用于判斷所述體內(nèi)圖像所對應(yīng)的具體部位；模型四為根據(jù)部位特征圖像庫訓(xùn)練完成的模型，用于判斷所述體內(nèi)圖像中是否存在病變部位以及病變部位的良惡性；以及

輸出層，用于將來自于所述判斷層的識別結(jié)果進(jìn)行顯示。

在另一實施例中，所述輸出層包括圖像演示模塊、部位顯示圖像、病灶顯示圖像；所述部位顯示圖像為表示各部位的圖像；所述病灶顯示圖像為標(biāo)注有病變部位的紅點圖像；

所述圖像演示模塊能夠?qū)碜杂谂袛鄬拥淖R別結(jié)果與部位顯示圖像進(jìn)行疊加展示，形成部位監(jiān)測模式；部位監(jiān)測模式以部位顯示圖像作為背景圖，其上覆蓋來自于判斷層的識別結(jié)果，以表示氣管鏡操作已檢查的部位；

所述圖像演示模塊還能夠?qū)碜杂谂袛鄬拥淖R別結(jié)果與病灶顯示圖像進(jìn)行疊加展示，形成病灶監(jiān)測模式；病灶監(jiān)測模式以病灶顯示圖像作為背景圖，其上覆蓋來自于判斷層的識別結(jié)果，以表示存在病變的部位。

本發(fā)明還提供一種基于深度學(xué)習(xí)的氣管鏡圖像特征比對標(biāo)記方法，其技術(shù)解決方案為，包括以下步驟：