[發(fā)明專利]用于診斷腸胃腫瘤的系統(tǒng)和方法

在審

• 申請?zhí)枺?/td>: 201980025246.5
• 申請日: 2019-02-12
• 公開（公告）號: CN112041912A
• 公開（公告）日: 2020-12-04
• 發(fā)明（設計）人: 許志仲;李宗錞
• 申請（專利權）人: 美商史柯比人工智慧股份有限公司
• 主分類號: G09B23/28
• 分類號: G09B23/28;G16H50/20;G06N3/04
• 代理公司: 隆天知識產(chǎn)權代理有限公司 72003
• 代理人: 石海霞;王曉璐

1.一種在內(nèi)視鏡檢查系統(tǒng)中診斷胃腸道腫瘤或病理的方法，該內(nèi)視鏡系統(tǒng)包含用于顯示圖像增強內(nèi)視鏡IEE圖像的一內(nèi)視鏡系統(tǒng)顯示器，該方法包括以下步驟：

借由對抗網(wǎng)絡AN隨機生成具有或不具有癌癥區(qū)域的訓練圖像樣本，包括以下步驟：

收集內(nèi)視鏡訓練圖像T1；

根據(jù)相應分段地圖(S1)，將所述訓練圖像劃分為訓練正常塊并訓練癌變圖塊；

使用來自所述訓練癌變區(qū)塊的癌變生成對抗網(wǎng)絡(CGAN)，學習自動生成癌性區(qū)塊；

使用來自所述訓練正常區(qū)塊的正常生成對抗網(wǎng)絡(NGAN)，學習自動生成正常IEE圖像區(qū)塊；

隨機生成分段地圖(S2)，所述分段地圖包括基于該自動生成的癌變區(qū)塊及該自動生成的正常IEE圖像區(qū)塊的黑白圖像，其中任何白色像素表示癌變區(qū)域，并且其中該分段地圖能僅有黑色像素，其為無癌癥的表示；

使用來自該被生成之分段地圖中的該AN中的生成器網(wǎng)絡，學習自動生成逼真的IEE圖像作為新的訓練圖像樣本T2；

使用1級預測網(wǎng)絡L1PN學習1級預測結果，該1級預測結果為該從所收集的T1及T2之IEE圖像的癌變概率，其中T2由該AN生成；

使用2級預測網(wǎng)絡L2PN，學習2級預測結果，該2級預測結果為來自該所收集的T1及T2的IEE圖像所偵測到的癌變區(qū)域，其中T2由該AN生成；及

使用該L1PN及該L2PN并且不使用該AN，預測IEE圖像的該1級結果及該2級結果。

2.根據(jù)權利要求1所述的方法，其中所述IEE圖像包含放大的窄頻成像、內(nèi)視鏡顯微鏡、i-SCAN、柔性光譜成像顏色增強、藍色激光成像及亮激光成像中的至少一種。

3.根據(jù)權利要求1所述的方法，其中該分段地圖(S1)包括參考標準。

4.根據(jù)權利要求3所述的方法，其中該參考標準系由醫(yī)師定義。

5.根據(jù)權利要求1所述的方法，額外包括以下步驟：

基于所述所收集的內(nèi)視鏡訓練圖像，生成附加訓練圖像，該生成步驟包括以下步驟：

旋轉或翻轉所收集的內(nèi)視鏡訓練圖像，以創(chuàng)建一個或更多個增強訓練圖像。

提供引導分段地圖，該引導分段地圖具有分辨率大于所述所收集的內(nèi)視鏡訓練圖像；

隨機裁剪該引導分段地圖，以獲得子地圖，該子地圖的分辨率等于所述所收集的內(nèi)視鏡訓練圖像的該分辨率；及

將該子地圖與每個增強的訓練圖像相乘，以便產(chǎn)生額外的訓練圖像。

6.根據(jù)權利要求1所述的方法，其中該2級預測結果的所偵測到的癌變區(qū)域為像素級別的分辨率。

7.一種用于診斷內(nèi)視鏡檢查系統(tǒng)中的胃腸道腫瘤或病理的系統(tǒng)，包含用于顯示圖像增強內(nèi)視鏡IEE圖像的內(nèi)視鏡系統(tǒng)顯示器，該系統(tǒng)包括：

借由對抗網(wǎng)絡AN隨機生成具有或不具有癌癥區(qū)域的訓練圖像樣本的裝置，包括：

用于收集內(nèi)視鏡訓練圖像T1的裝置；

用于根據(jù)相應的分段地圖(S1)將所述訓練圖像劃分為訓練正常區(qū)塊及訓練癌變區(qū)塊；

使用來自所述訓練癌變區(qū)塊的癌變生成對抗網(wǎng)絡(CGAN)，用于學習自動生成癌變區(qū)塊的裝置；

使用來自所述訓練正常區(qū)塊的正常對抗網(wǎng)絡(NGAN)，用于學習自動生成正常IEE圖像區(qū)塊的裝置；

用于隨機生成分段地圖(S2)的裝置，所述分段地圖包括基于該自動生成的癌變區(qū)塊及該自動生成的正常IEE圖像區(qū)塊的黑白圖像，其中任何白色像素表示癌變區(qū)域，并且其中該分段地圖能僅有黑色像素，其為無癌癥的表示；

使用來自該所生成的分段地圖的該AN中的生成器網(wǎng)絡，用于學習自動生成逼真的IEE圖像作為新的訓練圖像樣本T2的裝置；

使用1級預測網(wǎng)絡L1PN，用于學習1級預測結果的裝置，該1級預測結果為來自該所收集的T1及T2的IEE圖像的癌變概率，其中T2由該AN生成；

使用2級預測網(wǎng)絡L2PN，用于學習2級預測結果的裝置，該2級預測結果為該從所收集的T1及T2的IEE圖像所偵測到的癌變區(qū)域，其中T2由該AN生成；以及

使用該L1PN及該L2PN并且不使用該AN，用于預測IEE圖像的該1級結果及該2級的裝置。