[發(fā)明專利]一種內(nèi)窺鏡圖像處理方法、系統(tǒng)和可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010904471.0
• 申請(qǐng)日: 2020-09-01
• 公開（公告）號(hào): CN112001915A
• 公開（公告）日: 2020-11-27
• 發(fā)明（設(shè)計(jì)）人: 孫殿珉;成金玲;郭振華;張寶昌;周莉;劉愛(ài)芹;孫富春;方斌;薛紅香;陳永健;田廣野
• 申請(qǐng)（專利權(quán)）人: 山東省腫瘤防治研究院（山東省腫瘤醫(yī)院）
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京華專卓海知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11664
• 代理人: 張繼鑫

本發(fā)明的提供了一種內(nèi)窺鏡圖像處理方法、系統(tǒng)和可讀存儲(chǔ)介質(zhì)，其中方法包括：獲取視頻信號(hào)，對(duì)所述視頻信號(hào)進(jìn)行采樣，得到視頻幀；將所述視頻幀輸入至訓(xùn)練好的內(nèi)窺鏡深度卷積神經(jīng)網(wǎng)絡(luò)模型中，得到輸出的第一視頻幀；按照預(yù)設(shè)的算法將所述視頻幀與所述第一視頻幀進(jìn)行合并處理，得到輸出的視頻信號(hào)。通過(guò)神經(jīng)網(wǎng)絡(luò)處理之后的信號(hào)和視頻信號(hào)的合并處理，能夠使得一些陰影區(qū)域或者內(nèi)窺鏡照射的模糊區(qū)域會(huì)變得更加清晰，使得使用者可以更加清楚的看到照射的區(qū)域進(jìn)行相關(guān)的判斷，使得手術(shù)準(zhǔn)確率更高；通過(guò)對(duì)內(nèi)窺鏡深度卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，使得處理的結(jié)果能加準(zhǔn)確；通過(guò)大數(shù)據(jù)的分析和計(jì)算，有利于使用者進(jìn)行病灶點(diǎn)的判斷，增加使用體驗(yàn)感。

技術(shù)領(lǐng)域

本發(fā)明屬于內(nèi)窺鏡的圖像處理領(lǐng)域，更具體的，涉及一種內(nèi)窺鏡圖像處理方法、系統(tǒng)和可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

近年來(lái)，隨著內(nèi)窺鏡設(shè)備的發(fā)展，微創(chuàng)手術(shù)(Minimally invasive surgery,MIS)，在當(dāng)下逐漸成為日常醫(yī)學(xué)實(shí)踐中的重要技術(shù)手段。微創(chuàng)手術(shù)由于創(chuàng)口小、疼痛輕、術(shù)后恢復(fù)快，近年來(lái)獲得廣泛應(yīng)用。但在惠及患者的同時(shí)，微創(chuàng)手術(shù)卻對(duì)手術(shù)操作者提出了更高的要求。微創(chuàng)手術(shù)是以內(nèi)窺鏡為媒介的多人間接眼-手協(xié)同過(guò)程。內(nèi)窺鏡有限的視界和直接深度感知的缺失給醫(yī)生術(shù)中定位帶來(lái)困難，極大影響了手術(shù)操作的精確性和安全性。

計(jì)算技視覺(jué)作為一門研究如何通過(guò)計(jì)算機(jī)和攝像機(jī)來(lái)實(shí)現(xiàn)如人眼一樣對(duì)目標(biāo)進(jìn)行識(shí)別、跟蹤、和測(cè)量等功能的學(xué)科。

對(duì)于如何從內(nèi)窺鏡圖像中重建滿足手術(shù)精確度要求的三維圖像，是輔助外科醫(yī)生精確手術(shù)關(guān)鍵的一步，而對(duì)呈現(xiàn)的三維圖像的處理是解決此問(wèn)題的重要一環(huán)。

發(fā)明內(nèi)容

鑒于上述問(wèn)題，本發(fā)明的目的是提供一種內(nèi)窺鏡圖像處理方法、系統(tǒng)和可讀存儲(chǔ)介質(zhì)，能夠以較高的準(zhǔn)確率對(duì)內(nèi)窺鏡的視頻進(jìn)行處理。

本發(fā)明第一方面提供了一種內(nèi)窺鏡圖像處理方法，包括以下步驟：

獲取視頻信號(hào)，對(duì)所述視頻信號(hào)進(jìn)行采樣，得到視頻幀；

將所述視頻幀輸入至訓(xùn)練好的內(nèi)窺鏡深度卷積神經(jīng)網(wǎng)絡(luò)模型中，得到輸出的第一視頻幀；

按照預(yù)設(shè)的算法將所述視頻幀與所述第一視頻幀進(jìn)行合并處理，得到輸出的視頻信號(hào)。

本方案中，內(nèi)窺鏡深度卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法為：

收集真實(shí)內(nèi)窺鏡檢測(cè)部位的圖像，作為第一樣本圖像；

將所述第一樣本圖像進(jìn)行特征提取，得到特征區(qū)域圖像；

將得到特征區(qū)域圖像，進(jìn)行篩選，去除質(zhì)量差的圖像；

將篩選后的特征區(qū)域圖像對(duì)齊成多個(gè)比例的圖像；然后隨機(jī)選取一個(gè)比例，將選取的該比例的特征區(qū)域圖像進(jìn)行光滑處理；

經(jīng)光滑處理后的特征區(qū)域圖像經(jīng)過(guò)反射變形回到原始圖像的大小，得到第二樣本圖像；

在所述第一樣本圖像和第二樣本圖像中，多次裁剪預(yù)設(shè)的區(qū)域，得到內(nèi)窺鏡深度卷積神經(jīng)網(wǎng)絡(luò)模型的輸入，進(jìn)行內(nèi)窺鏡深度卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練。

本方案中，所述經(jīng)光滑處理后的特征區(qū)域圖像經(jīng)過(guò)反射變形回到原始圖像的大小，具體為：

計(jì)算當(dāng)前的反射率，反射率計(jì)算如下：

R＝I₀ρcosθ_i

其中R為反射率，I₀為光源值，ρ為表面發(fā)射率，θ_i是表面法向和光源方向的夾角；

將經(jīng)光滑處理后的特征區(qū)域圖像與計(jì)算得到的反射率值進(jìn)行運(yùn)算，再進(jìn)行圖像的比例還原，得到原始圖像大小的圖像。

本方案中，建立所述內(nèi)窺鏡深度卷積神經(jīng)網(wǎng)絡(luò)模型具體為：