[發(fā)明專利]基于多尺度特征融合的手術器械圖像智能分割方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110791891.7
• 申請日: 2021-07-13
• 公開（公告）號: CN113763386A
• 公開（公告）日: 2021-12-07
• 發(fā)明（設計）人: 王浩;丁帥;汪家欣;楊善林
• 申請（專利權）人: 合肥工業(yè)大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京久誠知識產(chǎn)權代理事務所(特殊普通合伙) 11542
• 代理人: 余罡

本發(fā)明提供一種基于多尺度特征融合的手術器械圖像智能分割方法和系統(tǒng)，涉及手術器械圖像分割領域。本發(fā)明首先構建多尺度特征融合的輕量級網(wǎng)絡架構，包括預先訓練的編碼器和解碼器。將預處理得到高分辨率圖像輸入編碼器的第一卷積神經(jīng)子網(wǎng)絡，低分辨圖像輸入編碼器的第二卷積神經(jīng)子網(wǎng)絡，分別獲取大尺度圖像特征信息和小尺度圖像特征信息；采用級聯(lián)方式對維度大小相同的大尺度圖像特征信息和小尺度圖像特征信息進行融合；將最終圖像特征信息輸入解碼器，以及將各個融合特征信息跳層連接至各個解碼單元執(zhí)行上采樣操作，獲取手術器械圖像智能分割結果。相較于傳統(tǒng)的深度學習方法，獲取的手術器械圖像分割結果具有較高的準確性，降低模型的推理時間。

技術領域

本發(fā)明涉及手術器械圖像分割技術領域，具體涉及一種基于多尺度特征融合的手術器械圖像智能分割方法、系統(tǒng)、存儲介質和電子設備。

背景技術

隨著科技水平的不斷發(fā)展，微創(chuàng)手術在各級醫(yī)院的占比不斷提升。相對于傳統(tǒng)的外科手術而言，微創(chuàng)手術的視野受限，腔體空間狹窄，增加了微創(chuàng)手術的手術難度，外科醫(yī)生的學習曲線也隨之變長。同時，與三甲醫(yī)院醫(yī)生相比，基層醫(yī)院醫(yī)生微創(chuàng)診療能力有限，微創(chuàng)手術技能水平不高，增加了患者術后并發(fā)癥與二次入院治療的風險。

目前，微創(chuàng)手術視頻智能分析技術的出現(xiàn)，可以有效利用微創(chuàng)手術視頻中的視覺信息，智能化識別與追蹤手術器械，為外科手術醫(yī)生提供手術術中導航以及術后的質量評估等手術智能輔助功能。但現(xiàn)有的微創(chuàng)手術器械識別方法的研究中，存在著以下不足：(1)傳統(tǒng)的手術器械識別方法通常需要包括射頻識別標簽(RFID)、傳感器等人工標注工具，會導致手術器械尺寸變化，手術器械消毒難度增加、手術器械識別精度低等問題。(2)在微創(chuàng)手術過程中，內(nèi)窺鏡運動產(chǎn)生的手術器械鏡面反射、運動模糊和手術中產(chǎn)生的煙霧遮擋、術中的病灶出血等常見現(xiàn)象，會造成手術器械的形態(tài)發(fā)生改變，基于手工特征或者淺層CNN網(wǎng)絡方法的微創(chuàng)手術視頻分析技術的效果并不理想。

因此，基于微創(chuàng)手術視頻數(shù)據(jù)，人們亟需一種能夠對手術器械進行自動化、精準化的識別與追蹤的技術方案。

發(fā)明內(nèi)容

(一)解決的技術問題

針對現(xiàn)有技術的不足，本發(fā)明提供了一種基于多尺度特征融合的手術器械圖像智能分割方法、系統(tǒng)、存儲介質和電子設備，解決了現(xiàn)有技術無法對手術器械進行自動化、精準化的識別與追蹤的技術問題。

(二)技術方案

為實現(xiàn)以上目的，本發(fā)明通過以下技術方案予以實現(xiàn)：

第一方面，提供一種基于多尺度特征融合的手術器械圖像智能分割方法，該方法首先構建多尺度特征融合的輕量級網(wǎng)絡架構，所述輕量級網(wǎng)絡架構包括預先訓練的編碼器和解碼器，所述編碼器包括并聯(lián)的第一卷積神經(jīng)子網(wǎng)絡和第二卷積神經(jīng)子網(wǎng)絡；所述方法包括：

S1、預處理手術器械圖像，獲取高分辨率圖像和低分辨圖像，所述高分辨率圖像的分辨率為所述低分辨率圖像的兩倍；

S2、將所述高分辨率圖像輸入所述第一卷積神經(jīng)子網(wǎng)絡，獲取對應的各個隱藏層中最后一卷積層輸出的大尺度圖像特征信息；將所述低分辨圖像輸入所述第二卷積神經(jīng)子網(wǎng)絡，獲取對應的各個隱藏層中最后一卷積層輸出的小尺度圖像特征信息，以及獲取所述第二卷積神經(jīng)子網(wǎng)絡輸出的最終圖像特征信息；

S3、采用級聯(lián)方式對維度大小相同的所述大尺度圖像特征信息和小尺度圖像特征信息進行融合，獲取不同維度大小的融合特征信息；

S4、將所述最終圖像特征信息輸入所述解碼器的第一個解碼單元，以及將各個所述融合特征信息跳層連接至所述解碼器的各個解碼單元執(zhí)行上采樣操作，獲取手術器械圖像智能分割結果。

優(yōu)選的，所述S1中采用雙線性二插法將所述高分辨率圖像裁剪得到所述低分辨率圖像。

優(yōu)選的，所述S2中第一卷積神經(jīng)子網(wǎng)絡的結構包括：