[發明專利]多模態預訓練的胃部腫瘤分類系統

有效

• 申請號: 202211031028.2
• 申請日: 2022-08-26
• 公開（公告）號: CN115115897B
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 何順輝;李峰;張希鋼;賴春曉;王鎮煜;邱霖;萬蘋;趙志芳;江海洋;賴正義;戴捷;邵貝;鹿偉民
• 申請（專利權）人: 紫東信息科技（蘇州）有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06V30/18;G06V30/19;G06V30/41;G06V10/40
• 代理公司: 蘇州市中南偉業知識產權代理事務所(普通合伙) 32257
• 代理人: 陳華紅子

本發明涉及一種多模態預訓練的胃部腫瘤分類系統，涉及醫學圖像處理技術領域，包括數據獲取模塊獲取含有多圖片和主訴文本的非腫瘤相關和腫瘤相關的胃鏡病例分別作為未標注樣本和有標注樣本，預訓練模塊使用未標注樣本對圖片編碼器、文本編碼器進行對比學習預訓練；多模態特征模塊使用預訓練后的編碼器提取有標注樣本的特征并融合得到多模態特征；訓練模塊使用有標注樣本的特征訓練預訓練后的編碼器，使用多模態特征訓練分類器；預測模塊得到待測病例的多模態特征并輸入訓練完成的分類器得到胃部腫瘤的分類結果。本發明可以提取多張圖片和多條主訴文本的特征，有效利用相似疾病更準確地捕捉胃腫瘤相關的特征，為醫生提供診斷參考。

技術領域

本發明涉及醫學圖像處理技術領域，尤其是指一種多模態預訓練的胃部腫瘤分類系統。

背景技術

胃部腫瘤是消化系統常見疾病，可分為惡性和良性。惡性腫瘤包括胃癌、惡性淋巴瘤和惡性間質瘤等。以胃癌最為常見，其發生率在消化道惡性腫瘤中居首位。胃良性腫瘤，占胃腫瘤的2％，可分兩大類：一類來源于黏膜的良性上皮細胞瘤，如胃腺瘤、腺瘤性息肉等。另一類是良性間葉組織腫瘤，如間質瘤、脂肪瘤和神經纖維瘤等。常見的癥狀是消化道出血，可有上腹隱痛、不適等表現。部分患者可捫及腹部腫塊，位于幽門部較大的腫瘤，可引起梗阻。胃腫瘤很少出現癥狀,有的因腫瘤生長較大發生并發癥或惡變后才發生癥狀,所以易被忽略。對胃腫瘤靠臨床癥狀很難確診。X光鋇劑檢查可見胃內有邊緣整齊的圓形充盈缺損,腫瘤表現有潰瘍時可見龕影。但是,X線鋇劑檢查并不能鑒別腫瘤的良惡性,尤其更不能發現腫瘤的早期惡變。因此胃鏡的檢查尤為重要。胃鏡下可見息肉樣脈瘤呈球形、單發或多發,有蒂或廣基。若腺癌表面有結節、糜爛、潰瘍或菜花樣改變、色澤較周圍粘膜蒼白,廣基且周圍胃粘膜較肥厚者,則多為惡變。胃鏡檢查是早期發現良惡性腫瘤的關鍵手段，根據胃鏡片特征能夠很好的是否具有胃良、惡腫瘤疾病，但是通常需要醫生具有較長的胃鏡操作經驗。基于人工智能技術的胃良、惡腫瘤胃圖片分類方法可以輔助醫生做出更準確的判斷，同時可以降低醫生漏掉可疑的早期胃腫瘤的概率。

在人工智能領域，基于單張圖片分類的方法通常被用于鑒定胃部是否存在良、惡腫瘤疾病。這種人工智能方法是利用計算機視覺等深度學習方法從單個圖片中提取視覺信息的過程。當前使用較為廣泛的人工智能方法是將該問題建模為輸入一張圖像進入模型并輸出一個標簽的問題。在胃良、惡腫瘤疾病分類方面，標簽為胃良性腫瘤和胃惡性腫瘤。

基于單張圖片分類的方法通常分為以下幾個步驟：第一步、專業人員收集大量帶有胃良、惡性腫瘤標簽的圖片，每個圖片作為一個樣本，標注這些圖片，獲得帶有標注的標注語料。第二步、基于深度學習網絡(一般是多層卷積神經網絡)使用標注好的語料訓練，獲得圖片分類模型。深度學習網絡一般采用的是當前流行的卷積神經網絡。如圖1所示，現有卷積模型通常包含圖片編碼器(ImageEncoder)層、全連接層。圖片編碼器層負責提取圖像的特征，一般由一系列的卷積層、激活層、池化層、自注意力層等組成，常用的圖片編碼器層包括VGG、Res Net、Dense Net、Efficient Net等。全連接層負責將圖像特征映射到圖片的類別。輸入一張圖進入圖片編碼器層，通過圖片編碼器中一系列的卷積層、激活層、池化層、自注意力層等對圖像進行編碼，獲得圖片特征；最后通過全連接實現圖片分類。第三步、使用圖片分類模型對某個未知標簽的圖片進行測試，判斷該圖片為胃良、惡性腫瘤。測試過程中，每次輸入分類模型的是單張圖片，輸出為單個標簽。

但是，現有技術也存在缺點，包括：

(1)單張圖片并不能處理一個病例有多張圖片的情況，不能給出綜合預測。胃鏡診斷過程往往有多張圖片構成一個患者的病例，需要從不同角度觀察胃部疾病，通過單張圖片很難判斷，因而傳統的基于單張圖片分類的預測模型無法準確預測這種多圖片的病例、性能差。

(2)當病例診斷過程存在主訴文本(病人向醫生描述自己病情的內容)時，這些主訴文本具有豐富的疾病信息，但是現有技術卻不能充分利用這些信息。在實際診斷的過程中，專業醫生在判斷某個病人是否具有胃良、惡腫瘤疾病的時候，往往會結合病人的多張胃鏡圖片和主訴文本進行判斷，現有技術不能結合多個圖片病例和主訴文本。