[發(fā)明專利]基于注意力引導(dǎo)的實(shí)時(shí)微創(chuàng)手術(shù)工具檢測(cè)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011622027.6
• 申請(qǐng)日: 2020-12-30
• 公開(kāi)（公告）號(hào): CN112699879A
• 公開(kāi)（公告）日: 2021-04-23
• 發(fā)明（設(shè)計(jì)）人: 趙子健;史攀
• 申請(qǐng)（專利權(quán)）人: 山東大學(xué)
• 主分類號(hào): G06K9/32
• 分類號(hào): G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 張慶騫

1.一種基于注意力引導(dǎo)的實(shí)時(shí)微創(chuàng)手術(shù)工具檢測(cè)方法，其特征在于，包括：

獲取微創(chuàng)手術(shù)視頻并進(jìn)行逐幀處理后得到手術(shù)圖像；

將手術(shù)圖像逐幀輸入至基于注意力引導(dǎo)的卷積神經(jīng)網(wǎng)絡(luò)框架中，輸出精確的手術(shù)工具邊界框；

其中，基于注意力引導(dǎo)的卷積神經(jīng)網(wǎng)絡(luò)框架包括級(jí)聯(lián)的粗略檢測(cè)模塊和精細(xì)檢測(cè)模塊；粗略檢測(cè)模塊用于將手術(shù)圖像進(jìn)行粗略的定位參數(shù)回歸得到精細(xì)錨點(diǎn)，確定精細(xì)錨點(diǎn)是手術(shù)工具還是背景；精細(xì)檢測(cè)模塊用于基于注意力機(jī)制及預(yù)測(cè)的精細(xì)錨點(diǎn)類別，得到精確的手術(shù)工具邊界框。

2.如權(quán)利要求1所述的基于注意力引導(dǎo)的實(shí)時(shí)微創(chuàng)手術(shù)工具檢測(cè)方法，其特征在于，所述粗略檢測(cè)模塊為改進(jìn)的VGG-16網(wǎng)絡(luò)，其中原VGG-16的全連接層6和全連接層7分別被修改為卷積層6和卷積層7，然后在VGG-16之后添加了兩個(gè)額外的卷積層6-1和卷積層6-2。

3.如權(quán)利要求1所述的基于注意力引導(dǎo)的實(shí)時(shí)微創(chuàng)手術(shù)工具檢測(cè)方法，其特征在于，所述精細(xì)檢測(cè)模塊包括四個(gè)級(jí)聯(lián)的輕量級(jí)注意力引導(dǎo)的轉(zhuǎn)移連接模塊，所述輕量級(jí)注意力引導(dǎo)的轉(zhuǎn)移連接模塊中融合了擠壓與激勵(lì)模塊和輕量頭模塊。

4.如權(quán)利要求3所述的基于注意力引導(dǎo)的實(shí)時(shí)微創(chuàng)手術(shù)工具檢測(cè)方法，其特征在于，所述擠壓與激勵(lì)模塊包括一個(gè)全局池化層，兩個(gè)完整連接層和一個(gè)Sigmoid激活函數(shù)。

5.如權(quán)利要求3所述的基于注意力引導(dǎo)的實(shí)時(shí)微創(chuàng)手術(shù)工具檢測(cè)方法，其特征在于，所述輕量頭模塊基于深度可分離卷積設(shè)計(jì)，對(duì)粗略檢測(cè)模塊輸出的低級(jí)特征和高級(jí)特征這兩路特征進(jìn)行融合。

6.如權(quán)利要求1所述的基于注意力引導(dǎo)的實(shí)時(shí)微創(chuàng)手術(shù)工具檢測(cè)方法，其特征在于，所述基于注意力引導(dǎo)的卷積神經(jīng)網(wǎng)絡(luò)框架還用于對(duì)輸入的手術(shù)圖像進(jìn)行分批預(yù)處理。

7.如權(quán)利要求6所述的基于注意力引導(dǎo)的實(shí)時(shí)微創(chuàng)手術(shù)工具檢測(cè)方法，其特征在于，對(duì)輸入的手術(shù)圖像進(jìn)行預(yù)處理，包括光學(xué)變換和幾何變換兩種數(shù)據(jù)增強(qiáng)操作，光學(xué)變換包括隨機(jī)調(diào)整亮度和對(duì)比度，幾何變換包括隨機(jī)擴(kuò)展、裁剪原始訓(xùn)練幀和隨機(jī)水平翻轉(zhuǎn)幀。

8.一種基于注意力引導(dǎo)的實(shí)時(shí)微創(chuàng)手術(shù)工具檢測(cè)系統(tǒng)，其特征在于，包括：

手術(shù)圖像獲取模塊，其用于獲取微創(chuàng)手術(shù)視頻并進(jìn)行逐幀處理后得到手術(shù)圖像；

手術(shù)工具檢測(cè)模塊，其用于將手術(shù)圖像逐幀輸入至基于注意力引導(dǎo)的卷積神經(jīng)網(wǎng)絡(luò)框架中，輸出精確的手術(shù)工具邊界框；

其中，基于注意力引導(dǎo)的卷積神經(jīng)網(wǎng)絡(luò)框架包括級(jí)聯(lián)的粗略檢測(cè)模塊和精細(xì)檢測(cè)模塊；粗略檢測(cè)模塊用于將手術(shù)圖像進(jìn)行粗略的定位參數(shù)回歸得到精細(xì)錨點(diǎn)，確定精細(xì)錨點(diǎn)是手術(shù)工具還是背景；精細(xì)檢測(cè)模塊用于基于注意力機(jī)制及預(yù)測(cè)的精細(xì)錨點(diǎn)類別，得到精確的手術(shù)工具邊界框。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述的基于注意力引導(dǎo)的實(shí)時(shí)微創(chuàng)手術(shù)工具檢測(cè)方法中的步驟。

10.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述的基于注意力引導(dǎo)的實(shí)時(shí)微創(chuàng)手術(shù)工具檢測(cè)方法中的步驟。