[發(fā)明專利]一種3D內(nèi)窺鏡輔助檢測(cè)方法、系統(tǒng)、裝置及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011620383.4
• 申請(qǐng)日: 2020-12-31
• 公開(kāi)（公告）號(hào): CN112734707B
• 公開(kāi)（公告）日: 2023-03-24
• 發(fā)明（設(shè)計(jì)）人: 郭毅軍;陳竹;嚴(yán)崇源;黃瀟峰;曹麗媛
• 申請(qǐng)（專利權(quán)）人: 重慶西山科技股份有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/73;G06V10/25;G06V10/40;G06V10/764;G06V10/80
• 代理公司: 深圳鼎合誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 44281
• 代理人: 劉兆;郭燕

本發(fā)明涉及醫(yī)學(xué)輔助診斷技術(shù)領(lǐng)域，具體涉及一種3D內(nèi)窺鏡輔助檢測(cè)方法、系統(tǒng)、裝置及存儲(chǔ)介質(zhì)。方法包括實(shí)時(shí)獲取待檢測(cè)區(qū)域的目標(biāo)圖像；將目標(biāo)圖像輸入到預(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型中得到病變信息；其中，神經(jīng)網(wǎng)絡(luò)模型通過(guò)多個(gè)不同結(jié)構(gòu)的子神經(jīng)網(wǎng)絡(luò)模型融合得到，多個(gè)不同結(jié)構(gòu)的子神經(jīng)網(wǎng)絡(luò)模型可以分別提取到不同的特征信息，通過(guò)對(duì)這些特征信息進(jìn)行融合得到最終的病變信息，提高了特征提取的效率，使得3D標(biāo)注視圖顯示的實(shí)時(shí)性更好，最終的病變信息更加精確、泛化能力強(qiáng)、魯棒性也更好；實(shí)時(shí)顯示該3D標(biāo)注視圖，醫(yī)生通過(guò)適配的設(shè)備即可實(shí)時(shí)清楚的觀測(cè)到當(dāng)前檢測(cè)區(qū)域的病變情況，對(duì)醫(yī)生的診斷起到輔助和參考的作用，提高了診斷效率。

技術(shù)領(lǐng)域

本發(fā)明涉及醫(yī)學(xué)輔助診斷技術(shù)領(lǐng)域，具體涉及一種3D內(nèi)窺鏡輔助檢測(cè)方法、系統(tǒng)、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)

內(nèi)窺鏡可以經(jīng)人體的天然孔道或者是經(jīng)手術(shù)微創(chuàng)創(chuàng)口進(jìn)入患者體內(nèi)，為醫(yī)生提供清晰、穩(wěn)定的高質(zhì)量畫(huà)面來(lái)完成手術(shù)。3D內(nèi)窺鏡是一種新型的立體成像內(nèi)窺鏡，能夠直觀反映觀察區(qū)域的景深特征，利于診斷。

在3D內(nèi)窺鏡輔助診斷中，臨床醫(yī)生通過(guò)內(nèi)窺鏡觀察患者體內(nèi)情況判斷診斷結(jié)果。但是人工分析存在以下顯而易見(jiàn)的缺陷：(1)不夠精確，醫(yī)生僅能憑借經(jīng)驗(yàn)去辨別，由于缺乏量化的標(biāo)準(zhǔn)，容易造成誤診；(2)不可避免地會(huì)出現(xiàn)人眼視力產(chǎn)生的誤差及視力疲勞；(3)海量的圖像信息容易產(chǎn)生漏診。

傳統(tǒng)計(jì)算機(jī)輔助診斷技術(shù)(Computer Aided Diagnosis，CAD)通過(guò)醫(yī)學(xué)圖像處理技術(shù)結(jié)合計(jì)算機(jī)分析計(jì)算來(lái)輔助發(fā)現(xiàn)病灶，需人工提取特征，存在泛化能力差、魯棒性差、精度低等缺點(diǎn)，并且特征提取效率低，實(shí)時(shí)性差，在復(fù)雜的背景中很難使用。

發(fā)明內(nèi)容

本發(fā)明主要解決的技術(shù)問(wèn)題是醫(yī)學(xué)圖像處理技術(shù)中采用人工進(jìn)行特征提取來(lái)輔助發(fā)現(xiàn)病灶時(shí)實(shí)時(shí)性差以及容易漏診。

一種3D內(nèi)窺鏡輔助檢測(cè)方法,其包括：

實(shí)時(shí)獲取待檢測(cè)區(qū)域的目標(biāo)圖像；

將所述目標(biāo)圖像輸入到預(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型中得到病變信息；其中，所述神經(jīng)網(wǎng)絡(luò)模型通過(guò)多個(gè)不同結(jié)構(gòu)的子神經(jīng)網(wǎng)絡(luò)模型融合得到；

將所述目標(biāo)圖像轉(zhuǎn)換成3D視圖并在所述3D視圖上對(duì)所述病變信息進(jìn)行標(biāo)注，得到3D標(biāo)注視圖；

實(shí)時(shí)顯示所述3D標(biāo)注視圖。

在一種實(shí)施例中，所述多個(gè)不同結(jié)構(gòu)的子神經(jīng)網(wǎng)絡(luò)模型至少包括：ResNet模型、Inception模型和/或MobileNet模型；

所述神經(jīng)網(wǎng)絡(luò)模型通過(guò)多個(gè)不同結(jié)構(gòu)的子神經(jīng)網(wǎng)絡(luò)模型融合得到包括：

采用遷移學(xué)習(xí)訓(xùn)練的方法對(duì)多個(gè)不同結(jié)構(gòu)的初始化模型進(jìn)行訓(xùn)練，得到多個(gè)訓(xùn)練好的子神經(jīng)網(wǎng)絡(luò)模型；

通過(guò)投票法、均方誤差法和概率組合法中的一種或者多種將多個(gè)不同結(jié)構(gòu)的子神經(jīng)網(wǎng)絡(luò)模型進(jìn)行融合得到所述神經(jīng)網(wǎng)絡(luò)模型。

在一種實(shí)施例中，所述病變信息至少包括表示病變區(qū)域的病變標(biāo)注框、該病變區(qū)域的病變類型和病變的概率；

所述將所述目標(biāo)圖像轉(zhuǎn)換成3D視圖并在所述3D視圖上對(duì)所述病變區(qū)域進(jìn)行標(biāo)注，得到3D標(biāo)注視圖包括：

將目標(biāo)圖像轉(zhuǎn)換成3D視圖；

將所述病變標(biāo)注框轉(zhuǎn)換成3D標(biāo)注框，在所述3D視圖上采用所述3D標(biāo)注框標(biāo)注出病變區(qū)域，以及標(biāo)注出該病變區(qū)域的病變類型和病變的概率，以得到3D標(biāo)注視圖。

在一種實(shí)施例中，將所述目標(biāo)圖像輸入到預(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型中得到病變信息包括：

將所述目標(biāo)圖像輸入到預(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型中后，神經(jīng)網(wǎng)絡(luò)模型中的多個(gè)子神經(jīng)網(wǎng)絡(luò)模型會(huì)分別輸出一個(gè)特征提取結(jié)果；