[發(fā)明專利]基于多任務(wù)輔助的上消化道病變區(qū)域確定方法及裝置

在審

• 申請?zhí)枺?/td>: 202110930193.0
• 申請日: 2021-08-13
• 公開（公告）號: CN113744203A
• 公開（公告）日: 2021-12-03
• 發(fā)明（設(shè)計）人: 鄭澤峰;唐穗谷;梁延研;于曉淵;余漢濠;徐義祥
• 申請（專利權(quán)）人: 澳門科技大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/34;G06K9/62;G16H30/20;G16H30/40;G06N3/04;G06N3/08
• 代理公司: 深圳中一聯(lián)合知識產(chǎn)權(quán)代理有限公司 44414
• 代理人: 張禹

1.一種基于多任務(wù)輔助的上消化道病變區(qū)域確定方法，其特征在于，所述病變區(qū)域確定方法包括：

將待處理上消化道內(nèi)窺鏡圖像輸入至已訓(xùn)練的分類模型，得到所述待處理上消化道內(nèi)窺鏡圖像的初始病變類別，其中，所述分類模型是使用訓(xùn)練數(shù)據(jù)集訓(xùn)練得到的；

使用檢索模型對所述待處理上消化道內(nèi)窺鏡圖像進行檢索，從所述訓(xùn)練數(shù)據(jù)集中選取與所述待處理上消化道內(nèi)窺鏡圖像具有相似特征的第一子數(shù)據(jù)集；

根據(jù)所述第一子數(shù)據(jù)集中的內(nèi)窺鏡樣本圖像的病變類別和所述初始病變類別，確定所述待處理上消化道內(nèi)窺鏡圖像的最終病變類別；

若所述最終病變類別屬于預(yù)設(shè)病變類別，則使用已訓(xùn)練的分割模型對所述待處理上消化道內(nèi)窺鏡圖像進行語義分割，得到所述待處理上消化道內(nèi)窺鏡圖像中的病變區(qū)域。

2.如權(quán)利要求1所述的上消化道病變區(qū)域確定方法，其特征在于，所述分類模型包括第一輸入層、16個第一卷積層、3個第一全連接層、5個第一最大池化層以及第一輸出層，其中，卷積層的卷積核大小為3×3，最大池化層的窗口大小是2×2，所述訓(xùn)練數(shù)據(jù)集包括具有第一標(biāo)簽的N張內(nèi)窺鏡樣本圖像，所述第一標(biāo)簽用于指示各內(nèi)窺鏡樣本圖像的病變類別，N為大于零的整數(shù)，所述分類模型的訓(xùn)練過程包括：

將所述訓(xùn)練數(shù)據(jù)集輸入到分類模型中，通過所述第一輸出層輸出所述訓(xùn)練數(shù)據(jù)集中各內(nèi)窺鏡樣本圖像的病變類別，其中所述分類模型中的輸出層為包含M個神經(jīng)元的全連接層，所述M個神經(jīng)元表示M個病變類別，M為大于零的整數(shù)；

將所述訓(xùn)練數(shù)據(jù)集中各內(nèi)窺鏡樣本圖像的病變類別與所述第一標(biāo)簽指示的病變類別進行比較，得到第一差異信息；

基于所述第一差異信息，采用focal loss函數(shù)對所述分類模型進行模型反向傳播，得到已訓(xùn)練的所述分類模型。

3.如權(quán)利要求2所述的上消化道病變區(qū)域確定方法，其特征在于，所述將待處理上消化道內(nèi)窺鏡圖像輸入至已訓(xùn)練的分類模型，得到所述待處理上消化道內(nèi)窺鏡圖像的初始病變類別包括：

將待處理上消化道內(nèi)窺鏡圖像輸入至已訓(xùn)練的分類模型中，對所述待處理上消化道內(nèi)窺鏡圖像進行分類；

使用Softmax函數(shù)計算所述待處理上消化道內(nèi)窺鏡圖像屬于各病變類別的概率值；

確定所有病變類別的概率值中概率值最大的病變類別為所述待處理上消化道內(nèi)窺鏡圖像的初始病變類別。

4.如權(quán)利要求1所述的上消化道病變區(qū)域確定方法，其特征在于，所述檢索模型共享了分類模型，其中所述檢索模型共享了分類模型是指所述檢索模型在分類模型的基礎(chǔ)上增加了圖像檢索層，所述圖像檢索層位于所述分類模型的輸出層之前且緊鄰所述分類模型的輸出層，所述圖像檢索層包括一個全連接層與Sigmoid函數(shù)，使用檢索模型對所述待處理上消化道內(nèi)窺鏡圖像進行檢索，從所述訓(xùn)練數(shù)據(jù)集中選取與所述待處理上消化道內(nèi)窺鏡圖像具有相似特征的第一子數(shù)據(jù)集包括：

基于所述圖像檢索層輸出的圖像特征中提取的圖像特征，確定所述待處理上消化道內(nèi)窺鏡圖像的圖像特征；

根據(jù)所述待處理上消化道內(nèi)窺鏡圖像的圖像特征，確定所述待處理上消化道內(nèi)窺鏡圖像的編碼值；

根據(jù)訓(xùn)練數(shù)據(jù)集中各內(nèi)窺鏡樣本圖像的圖像特征，確定所述訓(xùn)練數(shù)據(jù)集中各內(nèi)窺鏡樣本圖像的編碼值；

計算所述待處理上消化道內(nèi)窺鏡圖像的編碼值與所述訓(xùn)練數(shù)據(jù)集中各內(nèi)窺鏡樣本圖像的編碼值之間的漢明距離；

根據(jù)所述漢明距離，從所述訓(xùn)練數(shù)據(jù)集中確定候選數(shù)據(jù)集，所述候選數(shù)據(jù)集中各內(nèi)窺鏡樣本圖像的編碼值與所述待處理上消化道內(nèi)窺鏡圖像的編碼值之間的漢明距離小于距離閾值；

計算所述待處理上消化道內(nèi)窺鏡圖像與所述候選數(shù)據(jù)集中各內(nèi)窺鏡樣本圖像之間的歐氏距離；

按照所述歐氏距離從小到大的排名，從所述候選數(shù)據(jù)集中選取與所述待處理上消化道內(nèi)窺鏡圖像具有相似特征的第一子數(shù)據(jù)集，所述第一子數(shù)據(jù)集包括所有歐氏距離中排名前K的內(nèi)窺鏡樣本圖像，K為大于零的整數(shù)。