[發(fā)明專利]神經(jīng)外科手術(shù)機(jī)器人中內(nèi)鏡適配器的位姿跟蹤方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202210631420.4
• 申請(qǐng)日: 2022-06-06
• 公開（公告）號(hào): CN114998386A
• 公開（公告）日: 2022-09-02
• 發(fā)明（設(shè)計(jì)）人: 劉煥光;楊岸超;張華;胡文瀚;劉德峰;劉鈺曄;孟凡剛;張凱;張建國;肖森雄;白汝樂
• 申請(qǐng)（專利權(quán)）人: 首都醫(yī)科大學(xué)附屬北京天壇醫(yī)院
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06T7/73;G06T7/292;G06V10/22;G06V10/44;G06T5/00
• 代理公司: 北京合智同創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11545
• 代理人: 李杰

本申請(qǐng)實(shí)施例提供了一種神經(jīng)外科手術(shù)機(jī)器人中的內(nèi)鏡適配器的位姿跟蹤方法、裝置、設(shè)備及介質(zhì)。其中，所述方法包括：獲取光學(xué)定位跟蹤儀的雙目視覺成像設(shè)備采集的內(nèi)鏡適配器的第一圖像和第二圖像；對(duì)第一圖像和第二圖像分別進(jìn)行標(biāo)志物區(qū)域的識(shí)別，獲得第一圖像的第一標(biāo)志物候選區(qū)域和第二圖像的第二標(biāo)志物候選區(qū)域；對(duì)第一標(biāo)志物候選區(qū)域和第二標(biāo)志物候選區(qū)域分別進(jìn)行標(biāo)志物區(qū)域的篩選，獲得第一圖像的第一標(biāo)志物實(shí)際區(qū)域和第二圖像的第二標(biāo)志物實(shí)際區(qū)域；根據(jù)第一標(biāo)志物實(shí)際區(qū)域中的標(biāo)志點(diǎn)的坐標(biāo)和第二標(biāo)志物實(shí)際區(qū)域中與標(biāo)志點(diǎn)對(duì)應(yīng)的標(biāo)志點(diǎn)的坐標(biāo)，對(duì)內(nèi)鏡適配器進(jìn)行位姿跟蹤。本方案能夠?qū)崟r(shí)準(zhǔn)確地跟蹤內(nèi)鏡適配器在空間中的位姿。

技術(shù)領(lǐng)域

本申請(qǐng)涉及醫(yī)療器械中的神經(jīng)外科手術(shù)機(jī)器人技術(shù)領(lǐng)域，具體地，涉及神經(jīng)外科手術(shù)機(jī)器人中的內(nèi)鏡適配器的圖像處理技術(shù)領(lǐng)域，尤其涉及一種神經(jīng)外科手術(shù)機(jī)器人中的內(nèi)鏡適配器的位姿跟蹤方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀介質(zhì)。

背景技術(shù)

神經(jīng)外科手術(shù)中，由于技術(shù)更多的靠人工經(jīng)驗(yàn)來做，醫(yī)護(hù)人員工作量非常大，因此行業(yè)開發(fā)出來了手術(shù)機(jī)器人，用來對(duì)患者進(jìn)行治療。神經(jīng)外科手術(shù)機(jī)器人對(duì)患者進(jìn)行治療過程中，采用手術(shù)臺(tái)車控制臺(tái)車上的六軸機(jī)械臂進(jìn)行運(yùn)動(dòng)，機(jī)械臂末端會(huì)安裝手術(shù)用的末端工具，用來輔助醫(yī)生針對(duì)患者進(jìn)行病灶去除。而神經(jīng)外科手術(shù)機(jī)器人末端安裝有內(nèi)鏡，用來針對(duì)觀察對(duì)象體內(nèi)采集人眼無法觀調(diào)到的圖像和體內(nèi)結(jié)構(gòu)，但是現(xiàn)在都是靠著使用者手持內(nèi)鏡進(jìn)行操作，這樣不僅導(dǎo)致使用者可能過渡勞累，對(duì)觀察對(duì)象構(gòu)成安全隱患，而且使用者憑借著經(jīng)驗(yàn)將內(nèi)鏡送入觀察對(duì)象內(nèi)部，無法準(zhǔn)確定位。因此，采用手術(shù)機(jī)器人通過機(jī)械臂加持內(nèi)鏡適配器進(jìn)行操作。

內(nèi)鏡適配器是內(nèi)窺目鏡與成像芯片之間的轉(zhuǎn)接系統(tǒng)，主要應(yīng)用于現(xiàn)代醫(yī)學(xué)微創(chuàng)手術(shù)中。超高清的內(nèi)鏡適配器能呈現(xiàn)更好的醫(yī)療圖像，提供更高的醫(yī)療診斷和治療服務(wù)。在使用內(nèi)鏡適配器輔助的神經(jīng)外科手術(shù)中，需要實(shí)時(shí)準(zhǔn)確地跟蹤內(nèi)鏡適配器在空間中的位姿，以確定內(nèi)鏡適配器在空間中與患者病灶的相對(duì)位姿，這項(xiàng)任務(wù)通常由光學(xué)定位跟蹤儀來完成。然而，目前光學(xué)定位跟蹤儀中植入的軟件方法不能夠?qū)崟r(shí)準(zhǔn)確地跟蹤內(nèi)鏡適配器在空間中的位姿。由此可見，如何實(shí)時(shí)準(zhǔn)確地跟蹤神經(jīng)外科手術(shù)機(jī)器人中的內(nèi)鏡適配器在空間中的位姿成為當(dāng)前亟待解決的技術(shù)問題。

發(fā)明內(nèi)容

本申請(qǐng)的目的在于提出一種神經(jīng)外科手術(shù)機(jī)器人中的內(nèi)鏡適配器的位姿跟蹤方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀介質(zhì)，用于解決現(xiàn)有技術(shù)中存在的如何實(shí)時(shí)準(zhǔn)確地跟蹤神經(jīng)外科手術(shù)機(jī)器人中的內(nèi)鏡適配器在空間中的位姿的技術(shù)問題。

根據(jù)本申請(qǐng)實(shí)施例的第一方面，提供了一種神經(jīng)外科手術(shù)機(jī)器人中的內(nèi)鏡適配器的位姿跟蹤方法，應(yīng)用于光學(xué)定位跟蹤儀，所述方法包括：獲取所述光學(xué)定位跟蹤儀的雙目視覺成像設(shè)備采集的所述內(nèi)鏡適配器的第一圖像和第二圖像，其中，所述第一圖像和所述第二圖像均包含有所述內(nèi)鏡適配器的標(biāo)志物，并且所述標(biāo)志物包括的多個(gè)標(biāo)志點(diǎn)中的任意兩個(gè)標(biāo)志點(diǎn)之間的距離均不相同；根據(jù)所述第一圖像中的像素點(diǎn)的像素值和像素坐標(biāo)，對(duì)所述第一圖像進(jìn)行標(biāo)志物區(qū)域的識(shí)別，以獲得所述第一圖像的第一標(biāo)志物候選區(qū)域，并根據(jù)所述第二圖像中的像素點(diǎn)的像素值和像素坐標(biāo)，對(duì)所述第二圖像進(jìn)行標(biāo)志物區(qū)域的識(shí)別，以獲得所述第二圖像的第二標(biāo)志物候選區(qū)域；根據(jù)所述第一標(biāo)志物候選區(qū)域中的四個(gè)標(biāo)志點(diǎn)之間的圖像距離和所述第一標(biāo)志物候選區(qū)域中的四個(gè)標(biāo)志點(diǎn)的標(biāo)識(shí)信息，對(duì)所述第一標(biāo)志物候選區(qū)域進(jìn)行標(biāo)志物區(qū)域的篩選，以獲得所述第一圖像的第一標(biāo)志物實(shí)際區(qū)域，并根據(jù)所述第二標(biāo)志物候選區(qū)域中的四個(gè)標(biāo)志點(diǎn)之間的圖像距離和所述第二標(biāo)志物候選區(qū)域中的四個(gè)標(biāo)志點(diǎn)的標(biāo)識(shí)信息，對(duì)所述第二標(biāo)志物候選區(qū)域進(jìn)行標(biāo)志物區(qū)域的篩選，以獲得所述第二圖像的第二標(biāo)志物實(shí)際區(qū)域；根據(jù)所述第一標(biāo)志物實(shí)際區(qū)域中的標(biāo)志點(diǎn)的坐標(biāo)和所述第二標(biāo)志物實(shí)際區(qū)域中與所述標(biāo)志點(diǎn)對(duì)應(yīng)的標(biāo)志點(diǎn)的坐標(biāo)，對(duì)所述內(nèi)鏡適配器進(jìn)行位姿跟蹤，以獲得所述內(nèi)鏡適配器的位姿信息。