[發(fā)明專利]基于深度學(xué)習(xí)的氣管鏡圖像特征比對(duì)標(biāo)記系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011507809.5
• 申請(qǐng)日: 2020-12-18
• 公開(kāi)（公告）號(hào): CN112614103A
• 公開(kāi)（公告）日: 2021-04-06
• 發(fā)明（設(shè)計(jì)）人: 孫加源;劉奇為;謝芳芳;李營(yíng);吳煒進(jìn)
• 申請(qǐng)（專利權(quán)）人: 上海市胸科醫(yī)院;上海鏡影信息科技有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06N20/00;G06N3/02;G06K9/62
• 代理公司: 上海雙霆知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31415
• 代理人: 張?bào)K

1.一種基于深度學(xué)習(xí)的氣管鏡圖像特征比對(duì)標(biāo)記系統(tǒng)，其特征在于，包括：

輸入層，用于接收氣管鏡所采集的氣管鏡圖像，并對(duì)所接收的氣管鏡圖像進(jìn)行識(shí)別，然后將識(shí)別出的體內(nèi)圖像傳遞給判斷層；

判斷層，對(duì)來(lái)自于所述輸入層的體內(nèi)圖像進(jìn)行識(shí)別，判斷該體內(nèi)圖像所對(duì)應(yīng)的部位、判斷是否存在病變部位以及病變部位的良惡性，然后將識(shí)別結(jié)果反饋給輸出層；所述判斷層包括判斷層卷積神經(jīng)網(wǎng)絡(luò)模型；所述判斷層卷積神經(jīng)網(wǎng)絡(luò)模型包括模型三和模型四，模型三為根據(jù)部位屬性圖像庫(kù)訓(xùn)練完成的模型，用于判斷所述體內(nèi)圖像所對(duì)應(yīng)的具體部位；模型四為根據(jù)部位特征圖像庫(kù)訓(xùn)練完成的模型，用于判斷所述體內(nèi)圖像中是否存在病變部位以及病變部位的良惡性；以及

輸出層，用于將來(lái)自于所述判斷層的識(shí)別結(jié)果進(jìn)行顯示。

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的氣管鏡圖像特征比對(duì)標(biāo)記系統(tǒng)，其特征在于，所述輸入層包括：

圖像采集模塊，用于接收來(lái)自氣管鏡的圖像；以及

輸入層卷積神經(jīng)網(wǎng)絡(luò)模型；所述輸入層卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)一步包括：

模型一，用于合格氣管鏡圖像的識(shí)別；所述模型一為根據(jù)合格圖像庫(kù)訓(xùn)練完成的卷積神經(jīng)網(wǎng)絡(luò)模型；

模型二，用于體內(nèi)/體外圖像的識(shí)別；所述模型二為根據(jù)體內(nèi)/體外圖像庫(kù)訓(xùn)練完成的卷積神經(jīng)網(wǎng)絡(luò)模型。

3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的氣管鏡圖像特征比對(duì)標(biāo)記系統(tǒng)，其特征在于，所述輸出層包括圖像演示模塊、部位顯示圖像、病灶顯示圖像；所述部位顯示圖像為表示各部位的圖像；所述病灶顯示圖像為標(biāo)注有病變部位的紅點(diǎn)圖像；

所述圖像演示模塊能夠?qū)?lái)自于判斷層的識(shí)別結(jié)果與部位顯示圖像進(jìn)行疊加展示，形成部位監(jiān)測(cè)模式；部位監(jiān)測(cè)模式以部位顯示圖像作為背景圖，其上覆蓋來(lái)自于判斷層的識(shí)別結(jié)果，以表示氣管鏡操作已檢查的部位；

所述圖像演示模塊還能夠?qū)?lái)自于判斷層的識(shí)別結(jié)果與病灶顯示圖像進(jìn)行疊加展示，形成病灶監(jiān)測(cè)模式；病灶監(jiān)測(cè)模式以病灶顯示圖像作為背景圖，其上覆蓋來(lái)自于判斷層的識(shí)別結(jié)果，以表示存在病變的部位。

4.一種基于深度學(xué)習(xí)的氣管鏡圖像特征比對(duì)標(biāo)記方法，其特征在于，包括以下步驟：

步驟一，輸入層的圖像采集模塊接收來(lái)自于氣管鏡所采集的氣管鏡圖像，調(diào)用輸入層卷積神經(jīng)網(wǎng)絡(luò)模型，對(duì)氣管鏡圖像進(jìn)行識(shí)別，然后將識(shí)別出的體內(nèi)圖像傳遞給判斷層；

步驟二，判斷層接收體內(nèi)圖像，調(diào)用判斷層卷積神經(jīng)網(wǎng)絡(luò)模型，對(duì)該體內(nèi)圖像進(jìn)行部位識(shí)別和病灶識(shí)別，識(shí)別出圖像上的病變部位，得到判斷層識(shí)別結(jié)果并傳輸給輸出層；

步驟三，輸出層接收判斷層識(shí)別結(jié)果，分別調(diào)用部位顯示圖像和病灶顯示圖像進(jìn)行疊加展示；

步驟四：使用矩形框，在圖像上框出病變部位，并提示病變部位的良惡性。

5.根據(jù)權(quán)利要求4所述的基于深度學(xué)習(xí)的氣管鏡圖像特征比對(duì)標(biāo)記方法，其特征在于，所述步驟一中對(duì)氣管鏡圖像進(jìn)行識(shí)別的方法如下：

將氣管鏡圖像先輸入至輸入層卷積神經(jīng)網(wǎng)絡(luò)模型的模型一，模型一對(duì)該氣管鏡圖像進(jìn)行合格圖像識(shí)別，判斷其是否為合格圖像，若不合格，則模型一將該氣管鏡圖像標(biāo)記為“不合格圖像”作為輸入層識(shí)別結(jié)果，并傳輸給輸出層；若合格，則模型一將該氣管鏡圖像標(biāo)記為“合格圖像”并傳輸給輸入層卷積神經(jīng)網(wǎng)絡(luò)模型的模型二；

模型二對(duì)該合格圖像進(jìn)行識(shí)別，判斷其是否進(jìn)入體內(nèi)，若識(shí)別為體外圖像，則模型二將該合格圖像標(biāo)記為“體外圖像”作為輸入層識(shí)別結(jié)果，并傳輸給輸出層；若識(shí)別為體內(nèi)圖像，則模型二將該合格圖像標(biāo)記為“體內(nèi)圖像”并傳輸給判斷層。

6.根據(jù)權(quán)利要求4所述的基于深度學(xué)習(xí)的氣管鏡圖像特征比對(duì)標(biāo)記方法，其特征在于，所述步驟二中對(duì)體內(nèi)圖像進(jìn)行部位識(shí)別和病灶識(shí)別的方法如下：

將體內(nèi)圖像先輸入至判斷層卷積神經(jīng)網(wǎng)絡(luò)模型的模型三，模型三識(shí)別該體內(nèi)圖像的具體部位，并進(jìn)行標(biāo)記，得到帶有部位標(biāo)記的體內(nèi)圖像，即部位標(biāo)記圖像；模型三將該部位標(biāo)記圖像傳輸給判斷層卷積神經(jīng)網(wǎng)絡(luò)模型的模型四；

模型四識(shí)別該部位標(biāo)記圖像的部位特征，判斷是否存在病變部位和病變部位的良惡性分析，并進(jìn)行標(biāo)記，得到帶有特征標(biāo)記的體內(nèi)圖像，即特征標(biāo)記圖像；模型四將該特征標(biāo)記圖像作為判斷層識(shí)別結(jié)果傳輸給輸出層。