[發(fā)明專利]基于多任務(wù)學(xué)習(xí)的手術(shù)工具和手術(shù)階段識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111466043.5
• 申請(qǐng)日: 2021-12-03
• 公開(kāi)（公告）號(hào): CN114359782A
• 公開(kāi)（公告）日: 2022-04-15
• 發(fā)明（設(shè)計(jì)）人: 吳秋遐;韋喆藝
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/46;G06V10/20;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 馮炳輝

本發(fā)明公開(kāi)了一種基于多任務(wù)學(xué)習(xí)的手術(shù)工具和手術(shù)階段識(shí)別方法，包括：1)收集微創(chuàng)外科手術(shù)視頻并處理得到圖片序列數(shù)據(jù)集；2)利用Backbone網(wǎng)絡(luò)共享中間層對(duì)圖片序列數(shù)據(jù)集中的手術(shù)工具和手術(shù)階段進(jìn)行初步特征提取，得到的初始特征圖作為后續(xù)特征增強(qiáng)模塊的輸入；3)使用特征增強(qiáng)模塊對(duì)初始特征圖進(jìn)行特征融合；4)利用雙頭分類器分別得到手術(shù)工具和手術(shù)階段的識(shí)別結(jié)果，雙頭分類器其中一個(gè)分支使用Sigmoid激活函數(shù)計(jì)算得到手術(shù)工具的預(yù)測(cè)結(jié)果，另外一個(gè)分支使用SoftMax函數(shù)計(jì)算得到手術(shù)階段的預(yù)測(cè)結(jié)果。本發(fā)明通過(guò)共享手術(shù)工具和手術(shù)階段的特征信息實(shí)現(xiàn)互補(bǔ)，充分捕獲手術(shù)工具和手術(shù)階段之間的關(guān)聯(lián)信息，同時(shí)對(duì)這些特征信息進(jìn)行多尺度融合，增強(qiáng)深層語(yǔ)義特征的幾何表達(dá)。

技術(shù)領(lǐng)域

本發(fā)明涉及微創(chuàng)外科手術(shù)圖像處理的技術(shù)領(lǐng)域，尤其是指一種基于多任務(wù)學(xué)習(xí)的手術(shù)工具和手術(shù)階段識(shí)別方法。

背景技術(shù)

早期通過(guò)在手術(shù)工具上固定傳感器或從手術(shù)機(jī)器人獲取數(shù)據(jù)，來(lái)識(shí)別當(dāng)前時(shí)刻外科醫(yī)生使用的手術(shù)工具類型和正在進(jìn)行的手術(shù)階段。但是收集這些信號(hào)通常需要在手術(shù)工具或外科醫(yī)生的手上安裝額外的設(shè)備，這可能會(huì)干擾手術(shù)的正常操作。另一類方法是使用來(lái)自視頻或圖像序列的視覺(jué)特征進(jìn)行自動(dòng)化識(shí)別。研究人員使用手動(dòng)提取特征的方法局限于他們個(gè)人的領(lǐng)域知識(shí)，難以泛化地描述復(fù)雜的手術(shù)視頻變化情況。而基于深度學(xué)習(xí)的方法可以從手術(shù)視頻中自動(dòng)捕獲高級(jí)語(yǔ)義特征，識(shí)別準(zhǔn)確率比人工特征法更高。

然而，僅依靠視覺(jué)信息來(lái)利用深度學(xué)習(xí)的方法去進(jìn)行手術(shù)工具和手術(shù)階段的識(shí)別仍然具有挑戰(zhàn)性。首先，各個(gè)類別的工具的外觀可能非常相似。其次，相機(jī)的快速移動(dòng)或燃燒組織時(shí)產(chǎn)生的煙霧會(huì)導(dǎo)致圖像模糊。第三，攝像機(jī)在操作過(guò)程中可能不會(huì)始終聚焦在操作區(qū)域，從而在視頻錄制過(guò)程中引入額外的噪音。

由于各種工具的使用通常與特定的手術(shù)階段有密切的聯(lián)系，因此手術(shù)工具的識(shí)別任務(wù)作為輔助任務(wù)來(lái)幫助手術(shù)階段的識(shí)別的方法被提出。利用手術(shù)視頻中手術(shù)工具和手術(shù)階段之間的相關(guān)性對(duì)于提高手術(shù)階段識(shí)別被證明是有效的。

但是，此外，通過(guò)在多任務(wù)特征提取網(wǎng)絡(luò)中嵌入雙向特征金字塔可以增強(qiáng)對(duì)精細(xì)手術(shù)視頻視覺(jué)特征的表示能力。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提出了一種基于多任務(wù)學(xué)習(xí)的手術(shù)工具和手術(shù)階段識(shí)別方法，能夠?qū)崿F(xiàn)自動(dòng)化識(shí)別任務(wù)，無(wú)需額外人工制作特征，又能實(shí)現(xiàn)多任務(wù)高效訓(xùn)練，而且還大幅提升了腹腔鏡手術(shù)工具和手術(shù)階段識(shí)別的準(zhǔn)確度。

為實(shí)現(xiàn)上述目的，本發(fā)明所提供的技術(shù)方案為：基于多任務(wù)學(xué)習(xí)的手術(shù)工具和手術(shù)階段識(shí)別方法，包括以下步驟：

1)收集微創(chuàng)外科手術(shù)視頻，每個(gè)視頻一場(chǎng)記錄外科醫(yī)生進(jìn)行腹腔微創(chuàng)外科手術(shù)的全過(guò)程，然后將微創(chuàng)外科手術(shù)視頻按幀切割成圖片，得到圖片序列數(shù)據(jù)集；

2)利用Backbone網(wǎng)絡(luò)共享中間層對(duì)圖片序列數(shù)據(jù)集中的手術(shù)工具和手術(shù)階段進(jìn)行初步特征提取，共享手術(shù)工具和手術(shù)階段的信息，得到的初始特征圖作為后續(xù)特征增強(qiáng)模塊的輸入，其中，初始特征圖為多尺度特征圖；

3)使用特征增強(qiáng)模塊對(duì)初始特征圖進(jìn)行特征融合，將淺層特征的邊緣信息和深層特征的語(yǔ)義信息互相補(bǔ)充；

4)利用雙頭分類器分別得到手術(shù)工具和手術(shù)階段的識(shí)別結(jié)果，雙頭分類器其中一個(gè)分支為手術(shù)工具識(shí)別分支，用于將手術(shù)工具識(shí)別任務(wù)建模為多標(biāo)簽分類任務(wù)，使用Sigmoid激活函數(shù)計(jì)算得到手術(shù)工具的預(yù)測(cè)結(jié)果，同時(shí)使用BCE損失函數(shù)計(jì)算該分支的損失值，另外一個(gè)分支為手術(shù)階段識(shí)別分支，用于將手術(shù)階段識(shí)別任務(wù)建模為多類別分類任務(wù)，使用SoftMax函數(shù)計(jì)算得到手術(shù)階段的預(yù)測(cè)結(jié)果，同時(shí)使用CE損失函數(shù)計(jì)算該分支的損失值。

進(jìn)一步，在步驟1)中，在得到圖片序列數(shù)據(jù)集之前要進(jìn)行數(shù)據(jù)預(yù)處理，包括：對(duì)原始視頻的幀率進(jìn)行下采樣，并在輸入網(wǎng)絡(luò)之前通過(guò)隨機(jī)裁剪、中心反轉(zhuǎn)、洗亂順序的方式對(duì)樣本進(jìn)行數(shù)據(jù)增強(qiáng)。