[發(fā)明專(zhuān)利]腸鏡圖像病變識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202211465954.0
• 申請(qǐng)日: 2022-11-22
• 公開(kāi)（公告）號(hào): CN115731189B
• 公開(kāi)（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 田亮;趙昱森;趙衍博;劉京;陳棟;郭聰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 河北師范大學(xué)
• 主分類(lèi)號(hào): G06T7/00
• 分類(lèi)號(hào): G06T7/00;G06V10/40;G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 河北國(guó)維致遠(yuǎn)知識(shí)產(chǎn)權(quán)代理有限公司 13137
• 代理人: 秦春芳

本申請(qǐng)適于醫(yī)療圖像分析技術(shù)領(lǐng)域。本申請(qǐng)?zhí)峁┮环N腸鏡圖像病變識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。該方法包括：采用DINO算法對(duì)初始ViT網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，得到訓(xùn)練后的ViT網(wǎng)絡(luò)；通過(guò)腸鏡檢測(cè)器獲取原始圖像，基于訓(xùn)練后的ViT網(wǎng)絡(luò)對(duì)原始圖像進(jìn)行特征提取，得到注意力圖；將注意力圖和原始圖像進(jìn)行特征融合，得到待識(shí)別圖像；基于RetinaNet網(wǎng)絡(luò)對(duì)待識(shí)別圖像進(jìn)行息肉和憩室識(shí)別，根據(jù)識(shí)別結(jié)果在原始圖像上進(jìn)行分類(lèi)標(biāo)注和目標(biāo)框標(biāo)注，以使顯示器顯示帶有分類(lèi)標(biāo)注和目標(biāo)框標(biāo)注的原始圖像。本申請(qǐng)能夠準(zhǔn)確識(shí)別和標(biāo)注腸鏡檢測(cè)器采集的原始圖像中的息肉和/或憩室，進(jìn)而為醫(yī)生的正確診斷提供有效幫助。

技術(shù)領(lǐng)域

本申請(qǐng)涉及醫(yī)療圖像分析技術(shù)領(lǐng)域，具體涉及一種腸鏡圖像病變識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

在腸鏡檢查中，例如對(duì)息肉和憩室等病變的檢查中，由于患者體內(nèi)積液、腸道異物、操作軟管行進(jìn)時(shí)抖動(dòng)等原因，醫(yī)生看到的實(shí)時(shí)腸鏡畫(huà)面會(huì)出現(xiàn)遮擋、模糊等情況，可能造成醫(yī)生的錯(cuò)誤診斷，以及受醫(yī)生的經(jīng)驗(yàn)、疲勞度等因素的影響，也會(huì)導(dǎo)致對(duì)息肉和憩室的誤診、漏診等情況發(fā)生。

為提高診斷的準(zhǔn)確率，減少誤診和漏診的情況，現(xiàn)有方法基于深度學(xué)習(xí)對(duì)腸鏡檢測(cè)器檢測(cè)到的實(shí)時(shí)圖像進(jìn)行識(shí)別，以輔助醫(yī)生進(jìn)行正確診斷。然而現(xiàn)有的基于深度學(xué)習(xí)的識(shí)別方法通常需要大量的標(biāo)注數(shù)據(jù)，而醫(yī)學(xué)領(lǐng)域數(shù)據(jù)標(biāo)注成本高，能夠用于深度學(xué)習(xí)訓(xùn)練的標(biāo)注數(shù)據(jù)較少，訓(xùn)練效果差，且現(xiàn)有識(shí)別方法通常僅針對(duì)息肉，而缺少對(duì)憩室的識(shí)別，上述原因造成現(xiàn)有識(shí)別方法不能準(zhǔn)確識(shí)別和標(biāo)注實(shí)時(shí)圖像中的息肉和/或憩室，進(jìn)而無(wú)法對(duì)醫(yī)生的正確診斷提供有效幫助。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)實(shí)施例提供了一種腸鏡圖像病變識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，以解決現(xiàn)有的識(shí)別方法不能準(zhǔn)確識(shí)別和標(biāo)注實(shí)時(shí)圖像中的息肉和/或憩室，進(jìn)而無(wú)法對(duì)醫(yī)生的正確診斷提供有效幫助的技術(shù)問(wèn)題。

第一方面，本申請(qǐng)實(shí)施例提供了一種腸鏡圖像病變識(shí)別方法，包括：采用DINO算法對(duì)初始ViT網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，得到訓(xùn)練后的ViT網(wǎng)絡(luò)；通過(guò)腸鏡檢測(cè)器獲取原始圖像，基于訓(xùn)練后的ViT網(wǎng)絡(luò)對(duì)原始圖像進(jìn)行特征提取，得到注意力圖；將注意力圖和原始圖像進(jìn)行特征融合，得到待識(shí)別圖像；基于RetinaNet網(wǎng)絡(luò)對(duì)待識(shí)別圖像進(jìn)行息肉和憩室識(shí)別，根據(jù)識(shí)別結(jié)果在原始圖像上進(jìn)行分類(lèi)標(biāo)注和目標(biāo)框標(biāo)注，以使顯示器顯示帶有分類(lèi)標(biāo)注和目標(biāo)框標(biāo)注的原始圖像。

在第一方面的一種可能的實(shí)施方式中，基于訓(xùn)練后的ViT網(wǎng)絡(luò)對(duì)原始圖像進(jìn)行特征提取，得到注意力圖，包括：對(duì)原始圖像進(jìn)行圖像分塊處理，得到維度為1的tokenembedding序列；基于訓(xùn)練后的ViT網(wǎng)絡(luò)對(duì)token?embedding序列進(jìn)行多頭注意力計(jì)算，得到多個(gè)子注意力圖；根據(jù)預(yù)設(shè)指示信息確定多個(gè)子注意力圖中的預(yù)設(shè)數(shù)量的候選子注意力圖；對(duì)預(yù)設(shè)數(shù)量的候選子注意力圖進(jìn)行拼接處理，得到注意力圖。

在第一方面的一種可能的實(shí)施方式中，將注意力圖和原始圖像進(jìn)行特征融合，得到待識(shí)別圖像，包括：將注意力圖對(duì)應(yīng)的矩陣和原始圖像對(duì)應(yīng)的矩陣進(jìn)行對(duì)位相加，得到待識(shí)別圖像。

在第一方面的一種可能的實(shí)施方式中，RetinaNet網(wǎng)絡(luò)包括骨干網(wǎng)絡(luò)、特征金字塔網(wǎng)絡(luò)和預(yù)測(cè)頭；基于RetinaNet網(wǎng)絡(luò)對(duì)待識(shí)別圖像進(jìn)行息肉和憩室識(shí)別，包括：基于骨干網(wǎng)絡(luò)對(duì)待識(shí)別圖像進(jìn)行多尺度特征提取，得到多尺度特征；基于特征金字塔網(wǎng)絡(luò)對(duì)多尺度特征進(jìn)行特征融合，得到融合后的特征；基于預(yù)測(cè)頭，根據(jù)融合后的特征對(duì)待識(shí)別圖像進(jìn)行息肉和憩室識(shí)別，得到待識(shí)別圖像對(duì)應(yīng)的分類(lèi)標(biāo)簽和目標(biāo)框的位置與大小。

在第一方面的一種可能的實(shí)施方式中，根據(jù)識(shí)別結(jié)果在原始圖像上進(jìn)行分類(lèi)標(biāo)注和目標(biāo)框標(biāo)注，包括：根據(jù)分類(lèi)標(biāo)簽在原始圖像上進(jìn)行分類(lèi)標(biāo)注；根據(jù)目標(biāo)框的位置和大小在原始圖像上進(jìn)行目標(biāo)框標(biāo)注。