[發(fā)明專(zhuān)利]醫(yī)療內(nèi)窺鏡圖像的識(shí)別方法、系統(tǒng)、設(shè)備和內(nèi)窺鏡影像系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910372711.4
• 申請(qǐng)日: 2019-05-06
• 公開(kāi)（公告）號(hào): CN110136106B
• 公開(kāi)（公告）日: 2022-12-27
• 發(fā)明（設(shè)計(jì)）人: 章子健;孫鐘前;付星輝;尚鴻;王曉寧;楊巍
• 申請(qǐng)（專(zhuān)利權(quán)）人: 騰訊醫(yī)療健康（深圳）有限公司
• 主分類(lèi)號(hào): G06T7/00
• 分類(lèi)號(hào): G06T7/00;G06T7/70;G06V10/764;G06V10/82;G06N3/08;G06N3/04
• 代理公司: 深圳市聯(lián)鼎知識(shí)產(chǎn)權(quán)代理有限公司 44232
• 代理人: 劉抗美;葉虹

1.一種醫(yī)療內(nèi)窺鏡圖像的識(shí)別方法，其特征在于，所述方法包括：

根據(jù)醫(yī)療內(nèi)窺鏡視頻流獲取原始內(nèi)窺鏡圖像；

通過(guò)神經(jīng)網(wǎng)絡(luò)過(guò)濾獲取的所述原始內(nèi)窺鏡圖像，生成目標(biāo)內(nèi)窺鏡圖像；

通過(guò)神經(jīng)網(wǎng)絡(luò)的分類(lèi)預(yù)測(cè)識(shí)別所述目標(biāo)內(nèi)窺鏡圖像對(duì)應(yīng)的器官信息；

根據(jù)所對(duì)應(yīng)器官信息，通過(guò)分類(lèi)網(wǎng)絡(luò)識(shí)別所述目標(biāo)內(nèi)窺鏡圖像適用的圖像類(lèi)型；

在所述圖像類(lèi)型對(duì)應(yīng)的拍攝模式下，根據(jù)所述器官信息指示的部位定位所述目標(biāo)內(nèi)窺鏡圖像中的病灶區(qū)域和所屬病灶類(lèi)別；

所述在所述圖像類(lèi)型對(duì)應(yīng)的拍攝模式下，根據(jù)所述器官信息指示的部位定位所述目標(biāo)內(nèi)窺鏡圖像中的病灶區(qū)域和所屬病灶類(lèi)別，包括：

檢測(cè)所述目標(biāo)內(nèi)窺鏡圖像的圖像類(lèi)型；

在檢測(cè)的所述圖像類(lèi)型與識(shí)別的所述圖像類(lèi)型不符時(shí)，按照所識(shí)別圖像類(lèi)型對(duì)應(yīng)的拍攝模式，對(duì)所述目標(biāo)內(nèi)窺鏡圖像切換拍攝模式來(lái)獲取識(shí)別的所述圖像類(lèi)型對(duì)應(yīng)拍攝模式下的目標(biāo)內(nèi)窺鏡圖像

對(duì)所述圖像類(lèi)型對(duì)應(yīng)拍攝模式下的目標(biāo)內(nèi)窺鏡圖像，檢測(cè)所存在的異物獲得分布于所述目標(biāo)內(nèi)窺鏡圖像的異物框，所述異物框用于指示所述目標(biāo)內(nèi)窺鏡圖像中存在異物的區(qū)域；

根據(jù)檢測(cè)得到的所述異物框過(guò)濾所述目標(biāo)內(nèi)窺鏡圖像，未過(guò)濾掉的所述目標(biāo)內(nèi)窺鏡圖像用于定位病灶區(qū)域和所屬病灶類(lèi)別。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述內(nèi)窺鏡在與外界相通的腔道或密閉體腔拍攝所述醫(yī)療內(nèi)窺鏡視頻流。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述根據(jù)醫(yī)療內(nèi)窺鏡視頻流獲取內(nèi)窺鏡圖像包括：

隨著所述內(nèi)窺鏡在腔道或密閉體腔內(nèi)的移動(dòng)和拍攝，從接入的醫(yī)療內(nèi)窺鏡視頻流獲取原始內(nèi)窺鏡圖像。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)醫(yī)療內(nèi)窺鏡視頻流獲取內(nèi)窺鏡圖像，包括：

獲取存儲(chǔ)的所述醫(yī)療內(nèi)窺鏡視頻流；

從所述醫(yī)療內(nèi)窺鏡視頻流獲取原始內(nèi)窺鏡圖像，所述原始內(nèi)窺鏡圖像用于識(shí)別所述內(nèi)窺鏡所拍攝腔道或密閉體腔中存在的病灶區(qū)域和所屬病灶類(lèi)別。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)神經(jīng)網(wǎng)絡(luò)過(guò)濾獲取的所述原始內(nèi)窺鏡圖，生成目標(biāo)內(nèi)窺鏡圖像，包括：

將獲取的所述原始內(nèi)窺鏡圖像處理為設(shè)定尺寸，生成標(biāo)準(zhǔn)內(nèi)窺鏡圖像；

對(duì)所述標(biāo)準(zhǔn)內(nèi)窺鏡圖像，通過(guò)神經(jīng)網(wǎng)絡(luò)進(jìn)行低質(zhì)圖像和非低質(zhì)圖像的預(yù)測(cè)，所述低質(zhì)圖像是存在干擾的所述標(biāo)準(zhǔn)內(nèi)窺鏡圖像；

過(guò)濾歸屬于低質(zhì)圖像的所述標(biāo)準(zhǔn)內(nèi)窺鏡圖像，獲得目標(biāo)內(nèi)窺鏡圖像。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述圖像類(lèi)型對(duì)應(yīng)拍攝模式下的目標(biāo)內(nèi)窺鏡圖像，檢測(cè)所存在的異物獲得分布于所述目標(biāo)內(nèi)窺鏡圖像的異物框，包括：

以所述圖像類(lèi)型對(duì)應(yīng)拍攝模式下的目標(biāo)內(nèi)窺鏡圖像為輸入，通過(guò)神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)獲得所存在異物框?qū)?yīng)的坐標(biāo)和置信度，所述坐標(biāo)用于指示所述目標(biāo)內(nèi)窺鏡圖像中異物框的分布。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述根據(jù)檢測(cè)得到的所述異物框過(guò)濾所述目標(biāo)內(nèi)窺鏡圖像，包括：

根據(jù)目標(biāo)內(nèi)窺鏡圖像中異物框?qū)?yīng)的坐標(biāo)和置信度，運(yùn)算所述目標(biāo)內(nèi)窺鏡圖像所存在異物占據(jù)的面積比例因子；

根據(jù)所述面積比例因子判定所存在異物對(duì)所述目標(biāo)內(nèi)窺鏡圖像的干擾性，過(guò)濾發(fā)生異物干擾的所述目標(biāo)內(nèi)窺鏡圖像。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在所述圖像類(lèi)型對(duì)應(yīng)的拍攝模式下，根據(jù)所述器官信息指示的部位定位所述目標(biāo)內(nèi)窺鏡圖像中的病灶區(qū)域和所屬病灶類(lèi)別，包括：

對(duì)所述圖像類(lèi)型對(duì)應(yīng)拍攝模式下的目標(biāo)內(nèi)窺鏡圖像在定位檢測(cè)網(wǎng)絡(luò)各層不斷進(jìn)行特征提取，直至最終回歸得到所述目標(biāo)內(nèi)窺鏡圖像中的病灶區(qū)域；

通過(guò)分類(lèi)網(wǎng)絡(luò)進(jìn)行所述目標(biāo)內(nèi)窺鏡圖像中病灶區(qū)域的病灶性質(zhì)分類(lèi)，獲得所述病灶區(qū)域歸屬的病灶類(lèi)別。