[發(fā)明專利]一種基于腹腔鏡內(nèi)窺影像的手術(shù)進(jìn)程分析方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111097230.0
• 申請(qǐng)日: 2021-09-18
• 公開(kāi)（公告）號(hào): CN113813053A
• 公開(kāi)（公告）日: 2021-12-21
• 發(fā)明（設(shè)計(jì)）人: 蔣振剛;張科;李巖芳;師為禮;苗語(yǔ);何巍;何飛;趙家石;曲峰;秦俊;馮冠元;李洋
• 申請(qǐng)（專利權(quán)）人: 長(zhǎng)春理工大學(xué);長(zhǎng)春理工大學(xué)重慶研究院
• 主分類號(hào): A61B90/00
• 分類號(hào): A61B90/00;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 長(zhǎng)春眾邦菁華知識(shí)產(chǎn)權(quán)代理有限公司 22214
• 代理人: 李青

一種腹腔鏡內(nèi)窺影像的手術(shù)進(jìn)程分析方法涉及醫(yī)學(xué)圖像處理領(lǐng)域，實(shí)現(xiàn)了整個(gè)神經(jīng)網(wǎng)絡(luò)模型的魯棒性。本發(fā)明所提算法借助標(biāo)定好的階段數(shù)據(jù)集，利用深度學(xué)習(xí)對(duì)具有難以識(shí)別的視頻幀的數(shù)據(jù)集進(jìn)行有效的特征提取，更好地利用具有缺陷的數(shù)據(jù)集，并提高模型的魯棒性。同時(shí)提出一種術(shù)中場(chǎng)景的當(dāng)前幀特征信息與之前幀識(shí)別結(jié)果聯(lián)合的方式，使階段識(shí)別精度更高，有效、準(zhǔn)確地進(jìn)行手術(shù)進(jìn)程分析。

技術(shù)領(lǐng)域

本專利屬于醫(yī)學(xué)圖像處理領(lǐng)域，具體涉及一種基于腹腔鏡內(nèi)窺影像的手術(shù)進(jìn)程分析方法。

背景技術(shù)

腹腔鏡手術(shù)是一門新發(fā)展起來(lái)的微創(chuàng)方法，許多過(guò)去的開(kāi)放性手術(shù)現(xiàn)在已被腔內(nèi)手術(shù)取而代之，增加了患者的治療機(jī)會(huì)。在腹腔鏡手術(shù)中，醫(yī)生采用腹腔鏡作為內(nèi)外部溝通的橋梁。腹腔鏡手術(shù)的開(kāi)展，減輕了病人開(kāi)刀的痛楚，同時(shí)使病人的恢復(fù)期縮短，并且相對(duì)降低了患者的支出費(fèi)用。

然而在應(yīng)用中，醫(yī)生僅借助微小創(chuàng)面觀察內(nèi)部情況，但是由于內(nèi)部情況十分復(fù)雜，往往需要計(jì)算機(jī)輔助醫(yī)生來(lái)提高對(duì)手術(shù)術(shù)野的理解。要增強(qiáng)微創(chuàng)手術(shù)的效果，就需要精通手術(shù)過(guò)程的醫(yī)生，另一方面，可以借助于計(jì)算機(jī)輔助治療來(lái)完成醫(yī)生對(duì)內(nèi)窺鏡場(chǎng)景的理解。隨著機(jī)器人輔助微創(chuàng)手術(shù)的發(fā)展，增強(qiáng)手術(shù)過(guò)程的自動(dòng)情境意識(shí)對(duì)于提高外科醫(yī)生的表現(xiàn)和患者安全變得至關(guān)重要。手術(shù)器械的檢測(cè)和手術(shù)階段識(shí)別的對(duì)于各種其他任務(wù)(包括工具姿態(tài)估計(jì)，跟蹤和控制)也起著至關(guān)重要的作用。

針對(duì)上述問(wèn)題，Twinanda等人提出的EndoNet聯(lián)合從視頻中進(jìn)行手術(shù)工具和階段識(shí)別，利用神經(jīng)網(wǎng)絡(luò)和分層HMM獲得時(shí)間平滑的階段預(yù)測(cè)。隨著RNN的興起，EndoNet被演化為EndoLSTM，其訓(xùn)練過(guò)程分為兩步，包括卷積神經(jīng)網(wǎng)絡(luò)(CNN)作為特征提取器和LSTM進(jìn)行特征細(xì)化。Lea等人初次將時(shí)間卷積引入到分層處理視頻的動(dòng)作分割中，與RNNs相比，編碼器-解碼器架構(gòu)能夠同時(shí)捕獲高階和低階特征。后來(lái)，Oord等人使TCNs適應(yīng)了擴(kuò)張卷積，用于動(dòng)作定位，并由于更大的接受域而有著更高的時(shí)間分辨率，進(jìn)而實(shí)現(xiàn)了性能的改進(jìn)。Farha等人將多階段TCNs(MS-TCNs)引入到動(dòng)作分割中，這個(gè)多階段的網(wǎng)絡(luò)由堆疊的預(yù)測(cè)器階段組成，每個(gè)階段包括一個(gè)單獨(dú)的多層TCN，它逐步完善了前幾個(gè)階段的初始預(yù)測(cè)。Tobias首次在工作流分析中提出了一種多階段時(shí)間卷積網(wǎng)絡(luò)，用于手術(shù)階段識(shí)別的分層預(yù)測(cè)優(yōu)化，一定程度上提升了在線實(shí)時(shí)識(shí)別的準(zhǔn)確性及穩(wěn)定性。總體來(lái)看，研究者們采用不同的方法對(duì)階段識(shí)別模型進(jìn)行了改進(jìn)和提升，豐富了對(duì)手術(shù)階段自動(dòng)識(shí)別算法的研究。然而，較少有人考慮整個(gè)模型的魯棒性，如模型對(duì)手術(shù)視頻圖片中血污、光照等造成的圖片模糊情況的識(shí)別能力，以及更深層的網(wǎng)絡(luò)對(duì)手術(shù)進(jìn)程的隱含意義。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中存在的問(wèn)題，本發(fā)明提供了一種基于腹腔鏡內(nèi)窺影像的手術(shù)進(jìn)程分析方法，實(shí)現(xiàn)了整個(gè)神經(jīng)網(wǎng)絡(luò)模型的魯棒性。

本發(fā)明解決技術(shù)問(wèn)題所采用的技術(shù)方案如下：

一種基于腹腔鏡內(nèi)窺影像的手術(shù)進(jìn)程分析方法，該方法包括如下步驟：

步驟一：采集腹腔鏡術(shù)野視頻內(nèi)容，對(duì)所述視頻內(nèi)容劃分并進(jìn)行預(yù)處理；

步驟二：對(duì)基于Cholec80數(shù)據(jù)集以及MICCAI2015數(shù)據(jù)集，注意力機(jī)制ResNeXt網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，將注意力機(jī)制模塊SEBlock拼接在ResNeXt101網(wǎng)絡(luò)的每個(gè)殘差模塊ResBlock之后；

步驟三：將步驟一中預(yù)處理過(guò)的視頻內(nèi)容輸入到步驟二中已經(jīng)學(xué)習(xí)好的神經(jīng)網(wǎng)絡(luò)中，提取實(shí)時(shí)腹腔鏡的視頻幀中的特征，與步驟二中Cholec80數(shù)據(jù)集以及MICCAI2015數(shù)據(jù)集內(nèi)的特征進(jìn)行融合，參考多種特征提取及階段識(shí)別算法，采用OHFM網(wǎng)絡(luò)識(shí)別手術(shù)階段位于步驟一中的類別，分析當(dāng)前手術(shù)階段。

優(yōu)選的，所述步驟一中影像內(nèi)容分為：準(zhǔn)備、三角切割、剪切、膽囊切割、膽囊包裝、清理和膽囊回收。

優(yōu)選的，所述步驟一中的預(yù)處理為調(diào)整所述影像內(nèi)容的分辨率和幀速流。