[發明專利]一種腹腔鏡手術視頻的前景分割方法

在審

• 申請號: 202010924388.X
• 申請日: 2020-09-04
• 公開（公告）號: CN112085760A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 王連生
• 申請（專利權）人: 廈門大學
• 主分類號: G06T7/194
• 分類號: G06T7/194;G06N3/04;G06N3/08;G06T3/40
• 代理公司: 廈門致群財富專利代理事務所(普通合伙) 35224
• 代理人: 劉兆慶

本發明公開了一種腹腔鏡手術視頻的前景分割方法，其包括以下步驟：S1、獲取腹腔鏡手術視頻，劃分訓練集及測試集；S2、對訓練集內腹腔鏡手術視頻進行裁剪及手術器械像素的標注的預處理；S3、構建前景分割系統，將S2中腹腔鏡手術視頻輸入前景分割系統，通過光流預測模塊結合圖像分割模塊進行前景分割，得到分割結果；本發明在復雜的手術場景中精確分割腹腔鏡手術器械，對腹腔鏡手術器械進行細分，避免干擾，提高了腹腔鏡手術的精確度。

技術領域

本發明涉及腹腔鏡手術技術領域，尤其涉及一種腹腔鏡手術視頻的前景分割方法。

背景技術

腹腔鏡手術就是利用腹腔鏡及其相關器械進行的手術：使用冷光源提供照明，將腹腔鏡鏡頭插入腹腔內，運用數字攝像技術使腹腔鏡鏡頭拍攝到的圖像通過光導纖維傳導至后級信號處理系統，并且實時顯示在專用監視器上。然后醫生通過監視器屏幕上所顯示患者器官不同角度的圖像，對病人的病情進行分析判斷，并且運用特殊的腹腔鏡手術器械進行手術。

與普通外科手術相比，腹腔鏡手術避免了開發的手術環境，并且縮短了患者的康復時間，配合手術輔助系統減少醫生在手術過程中的疲勞度，提高手術的準確性，腹腔鏡手術器械分割是手術輔助系統的關鍵要素之一，但是由于手術場景較為復雜，在復雜的手術場景中，腹腔鏡手術視頻容易出現器械運動偽影、器械被周圍組織、血液或煙霧遮擋導致手術輔助系統分析異常，難以對手術器械進行細分。

發明內容

本發明的目的在于提供一種腹腔鏡手術視頻的前景分割方法，在復雜的手術場景中精確分割腹腔鏡手術器械，對腹腔鏡手術器械進行細分，避免干擾，提高了腹腔鏡手術的精確度。

為實現上述目的，本發明采用以下技術方案：

一種腹腔鏡手術視頻的前景分割方法，包括以下步驟：

S1、獲取腹腔鏡手術視頻，劃分訓練集及測試集；

S2、對訓練集內腹腔鏡手術視頻進行裁剪及手術器械像素的標注的預處理；

S3、構建前景分割系統，將S2中腹腔鏡手術視頻輸入前景分割系統，通過光流預測模塊結合圖像分割模塊進行前景分割，得到分割結果。

進一步地，所述步驟S2中的腹腔鏡手術視頻采樣頻率為1Hz，腹腔鏡手術視頻的原始圖像的尺寸為1920×1080，通過縮放得到尺寸為640×512的圖像，對尺寸為640×512的圖像裁剪得到320×256的區域圖像作為前景分割系統的輸入圖像；手術器械像素的標注為單通道的二值語義標注。

進一步地，所述步驟S3中前景分割系統還包括采樣路徑的編碼器、上采用路徑的解碼器、瓶頸模塊及注意力模塊，編碼器與解碼器進行跳躍連接，瓶頸模塊分別與編碼器及解碼器相連接；圖像分割模塊分別與編碼器、解碼器、光流預測模塊及注意力模塊相連接；注意力模塊分別與編碼器、解碼器及光流預測模塊相連接；步驟S3的具體步驟為：

S31、腹腔手術視頻輸入編碼器進行下采樣提取特征并輸入瓶頸模塊；

S32、瓶頸模塊調整特征的通道數后輸入解碼器；

S33、解碼器與編碼器將具有相同尺度的特征沿著通道方向進行拼接得到拼接特征；

S34、將拼接特征輸入注意力模塊得到特征l為注意力模塊的尺度，t為腹腔鏡手術視頻的圖像在視頻序列中的位置；

S35、注意力模塊接收注意力信息與特征進行融合并輸出第一融合特征；

S36、將融合特征輸入解碼器進行上采樣放大得到尺寸為1920×1080的第一融合特征；

S37、通過Sigmoid函數激活尺寸為1920×1080的第一融合特征并將激活后的尺寸為1920×1080的第一融合特征輸入編碼器，重復4次S31-S37的操作，得到尺寸為1920×1080的第二融合特征；