[發(fā)明專(zhuān)利]內(nèi)窺鏡儀器分割方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011492855.2
• 申請(qǐng)日: 2020-12-17
• 公開(kāi)（公告）號(hào): CN112613517B
• 公開(kāi)（公告）日: 2022-02-18
• 發(fā)明（設(shè)計(jì)）人: 岳廣輝;韓婉婉;周天薇;李思瑩;李苑;汪天富
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳大學(xué)
• 主分類(lèi)號(hào): G06V10/26
• 分類(lèi)號(hào): G06V10/26;G06V10/774;G06K9/62;G06N3/04;G06T5/50
• 代理公司: 深圳市精英專(zhuān)利事務(wù)所 44242
• 代理人: 武志峰

1.一種內(nèi)窺鏡儀器分割方法，其特征在于，包括：

將內(nèi)窺鏡樣本圖像X輸入第一網(wǎng)絡(luò)，對(duì)所述內(nèi)窺鏡樣本圖像X進(jìn)行第一卷積處理獲得包含低層語(yǔ)義特征的第一低層特征圖，對(duì)所述第一低層特征圖進(jìn)行第二卷積處理獲得包含高層語(yǔ)義特征的多個(gè)第一高層特征圖，通過(guò)第一平行部分解碼器將多個(gè)所述第一高層特征圖融合獲得第一網(wǎng)絡(luò)的初步全局特征圖F₁，對(duì)多個(gè)所述第一高層特征圖分別進(jìn)行注意力機(jī)制處理得到多個(gè)注意力特征圖，將所述初步全局特征圖F₁作為全局指導(dǎo)信號(hào)依次反向與多個(gè)所述注意力特征圖相結(jié)合得到多個(gè)增強(qiáng)特征圖，輸出第一網(wǎng)絡(luò)的預(yù)測(cè)特征圖F’；

將多個(gè)所述增強(qiáng)特征圖分別與所述內(nèi)窺鏡樣本圖像X相乘得到多個(gè)中間特征圖，再將所述內(nèi)窺鏡樣本圖像X與多個(gè)所述中間特征圖相加取平均值，得到待處理特征圖；

將所述待處理特征圖輸入至第二網(wǎng)絡(luò)，對(duì)所述待處理特征圖進(jìn)行第三卷積處理獲得包含低層語(yǔ)義特征的第二低層特征圖，對(duì)所述第二低層特征圖進(jìn)行第四卷積處理獲得包含高層語(yǔ)義特征的多個(gè)第二高層特征圖，通過(guò)第二平行部分解碼器將多個(gè)所述第二高層特征圖融合獲得第二網(wǎng)絡(luò)的最終全局特征圖F₂，并將最終全局特征圖F₂作為內(nèi)窺鏡儀器分割模型的最終輸出結(jié)果；

利用損失函數(shù)對(duì)所述內(nèi)窺鏡儀器分割模型進(jìn)行優(yōu)化，并利用優(yōu)化后的內(nèi)窺鏡儀器分割模型對(duì)內(nèi)窺鏡測(cè)試圖像進(jìn)行識(shí)別，所述損失函數(shù)包括有監(jiān)督損失函數(shù)和無(wú)監(jiān)督損失函數(shù)，分別對(duì)有標(biāo)簽數(shù)據(jù)和無(wú)標(biāo)簽數(shù)據(jù)監(jiān)督。

2.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡儀器分割方法，其特征在于，所述將內(nèi)窺鏡樣本圖像X輸入第一網(wǎng)絡(luò)，對(duì)所述內(nèi)窺鏡樣本圖像X進(jìn)行第一卷積處理獲得包含低層語(yǔ)義特征的第一低層特征圖，對(duì)所述第一低層特征圖進(jìn)行第二卷積處理獲得包含高層語(yǔ)義特征的多個(gè)第一高層特征圖，通過(guò)第一平行部分解碼器將多個(gè)所述第一高層特征圖融合獲得第一網(wǎng)絡(luò)的初步全局特征圖F₁，對(duì)多個(gè)所述第一高層特征圖分別進(jìn)行注意力機(jī)制處理得到多個(gè)注意力特征圖，將所述初步全局特征圖F₁作為全局指導(dǎo)信號(hào)依次反向與多個(gè)所述注意力特征圖相結(jié)合得到多個(gè)增強(qiáng)特征圖，輸出第一網(wǎng)絡(luò)的預(yù)測(cè)特征圖F’，包括：

將內(nèi)窺鏡樣本圖像X輸入第一網(wǎng)絡(luò)，先通過(guò)2層第一卷積層依次對(duì)所述內(nèi)窺鏡樣本圖像X進(jìn)行第一卷積處理，輸出得到包含低層語(yǔ)義特征的第一低層特征圖；

通過(guò)3層第二卷積層依次對(duì)所述第一低層特征圖進(jìn)行第二卷積處理，得到包含高層語(yǔ)義特征的3個(gè)第一高層特征圖；

通過(guò)第一平行部分解碼器對(duì)3個(gè)所述第一高層特征圖以平行連接的方式進(jìn)行聚合，得到初步全局特征圖F₁；

按順序分別對(duì)所述3個(gè)第一高層特征圖進(jìn)行注意力機(jī)制處理，得到對(duì)應(yīng)的第一注意力特征圖、第二注意力特征圖和第三注意力特征圖；

將所述初步全局特征圖F₁作為全局指導(dǎo)信號(hào)依次反向與第三注意力特征圖、第二注意力特征圖和第一注意力特征圖相結(jié)合，分別得到第三增強(qiáng)特征圖F’_L5、第二增強(qiáng)特征圖F’_L4和第一增強(qiáng)特征圖F’_L3，并將所述第一增強(qiáng)特征圖F’_L3作為第一網(wǎng)絡(luò)的預(yù)測(cè)特征圖F’。

3.根據(jù)權(quán)利要求2所述的內(nèi)窺鏡儀器分割方法，其特征在于，所述將多個(gè)所述增強(qiáng)特征圖分別與所述內(nèi)窺鏡樣本圖像X相乘得到多個(gè)中間特征圖，再將所述內(nèi)窺鏡樣本圖像X與多個(gè)所述中間特征圖相加取平均值，得到待處理特征圖，包括：

將所述第一增強(qiáng)特征圖F’_L3、第二增強(qiáng)特征圖F’_L4和第三增強(qiáng)特征圖F’_L5分別與所述內(nèi)窺鏡樣本圖像X相乘得到對(duì)應(yīng)的第一中間特征圖I₁、第二中間特征圖I₂和第三中間特征圖I₃；

將所述內(nèi)窺鏡樣本圖像、所述第一中間特征圖I₁、第二中間特征圖I₂和第三中間特征圖I₃相加并取平均值，得到待處理特征圖。