[發(fā)明專利]多模態(tài)預(yù)訓(xùn)練的胃部腫瘤分類系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202211031028.2
• 申請日: 2022-08-26
• 公開（公告）號: CN115115897B
• 公開（公告）日: 2022-12-09
• 發(fā)明（設(shè)計(jì)）人: 何順輝;李峰;張希鋼;賴春曉;王鎮(zhèn)煜;邱霖;萬蘋;趙志芳;江海洋;賴正義;戴捷;邵貝;鹿偉民
• 申請（專利權(quán)）人: 紫東信息科技（蘇州）有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06V30/18;G06V30/19;G06V30/41;G06V10/40
• 代理公司: 蘇州市中南偉業(yè)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32257
• 代理人: 陳華紅子

1.一種多模態(tài)預(yù)訓(xùn)練的胃部腫瘤分類系統(tǒng)，其特征在于，包括：

數(shù)據(jù)獲取模塊，所述數(shù)據(jù)獲取模塊獲取含有多張圖片和多條主訴文本的非腫瘤相關(guān)的胃鏡病例樣本和含有多張圖片和多條主訴文本的腫瘤相關(guān)的胃鏡病例樣本；

特征提取模塊，所述特征提取模塊包括圖片編碼器和文本編碼器；

分類模塊，所述分類模塊包括分類器；

預(yù)訓(xùn)練模塊，所述預(yù)訓(xùn)練模塊使用非腫瘤相關(guān)的胃鏡病例樣本中的多張圖片對所述圖片編碼器進(jìn)行對比學(xué)習(xí)預(yù)訓(xùn)練得到預(yù)訓(xùn)練后的圖片編碼器，使用非腫瘤相關(guān)的胃鏡病例樣本中的多條主訴文本對所述文本編碼器進(jìn)行對比學(xué)習(xí)預(yù)訓(xùn)練得到預(yù)訓(xùn)練后的文本編碼器；具體為：

S1-1：抽取同一個病例中的m張圖片的特征得到圖片特征其中表示第i張圖片的特征；抽取同一個病例中的n條主訴文本的特征得到文本特征其中表示第j條主訴文本的特征；

S1-2：隨機(jī)遮掩所述圖片特征H^O中的一個特征得到遮掩后的圖片特征其中表示在位置i上使用遮掩專用特征代替原來的圖片特征隨機(jī)遮掩所述文本特征H^T中的一個特征得到遮掩后的文本特征其中表示在位置j上使用遮掩專用特征代替原來的文本特征

S1-3：使用圖片編碼器獲取所述圖片特征H^O的共同特征表示Q^O和所述遮掩后的圖片特征的共同特征表示

使用文本編碼器獲取所述文本特征H^T的共同特征表示Q^T和所述遮掩后的文本特征的共同特征表示

S1-4：在不同的病例中隨機(jī)選取k張圖片和k條主訴文本，抽取k張圖片的特征得到圖片特征表示第k張圖片的特征；抽取k條主訴文本的特征得到文本特征表示第k條主訴文本的特征；

結(jié)合所述和被遮掩的圖片特征得到圖片候選特征其中

結(jié)合所述和被遮掩的文本特征得到文本候選特征其中

S1-5：將被遮掩的圖片特征對應(yīng)的圖片作為缺失圖片，將被遮掩的文本特征對應(yīng)的主訴文本作為缺失主訴文本；

將所述圖片候選特征對應(yīng)的圖片和所述文本候選特征對應(yīng)的主訴文本組合作為對比樣本，使用模態(tài)內(nèi)聯(lián)系計(jì)算對比樣本中第s個圖片成為缺失圖片的概率和第s條主訴文本成為缺失主訴文本的概率使用模態(tài)間聯(lián)系計(jì)算使用對比樣本中第s條主訴文本預(yù)測的圖片成為缺失圖片的概率和使用對比樣本中第s個圖片預(yù)測的主訴文本成為缺失主訴文本的概率

所述使用模態(tài)內(nèi)聯(lián)系計(jì)算對比樣本中第s個圖片成為缺失圖片的概率和第s條主訴文本成為缺失主訴文本的概率所述和的計(jì)算方法為：

其中s∈{1，2，...，k，k+1}，其中s∈{1，2，...，k，k+1}；

其中，σ為激活函數(shù)，e是自然常數(shù)；len()表示計(jì)算特征的長度，表示所有圖片特征中遮蔽位置為i的特征中的第d個元素，()^T表示轉(zhuǎn)置，(()^T)^d表示轉(zhuǎn)置后特征的第d個元素，表示所有主訴文本特征中遮蔽位置為i的特征中的第d個元素；

所述使用模態(tài)間聯(lián)系計(jì)算使用對比樣本中第s條主訴文本預(yù)測的圖片成為缺失圖片的概率和使用對比樣本中第s個圖片預(yù)測的主訴文本成為缺失主訴文本的概率所述和的計(jì)算方法為：

其中s∈{1，2，..，k，k+1}，其中s∈{1，2，...，k，k+1}；

其中，σ為激活函數(shù)，

Pooling表示池化層，Pooling()表示將Q^O和Q^T特征進(jìn)行壓縮；len()表示計(jì)算特征的長度，()^T表示轉(zhuǎn)置，(()^T)^d表示轉(zhuǎn)置后特征的第d個元素；

S1-6：計(jì)算模態(tài)內(nèi)聯(lián)系的損失函數(shù)和模態(tài)間聯(lián)系的損失函數(shù)計(jì)算對比學(xué)習(xí)預(yù)訓(xùn)練的聯(lián)合損失函數(shù)

S1-7：使用非腫瘤相關(guān)的胃鏡病例樣本中的多張圖片對圖片編碼器進(jìn)行對比學(xué)習(xí)預(yù)訓(xùn)練、使用非腫瘤相關(guān)的胃鏡病例樣本中的多條主訴文本對文本編碼器進(jìn)行對比學(xué)習(xí)預(yù)訓(xùn)練，直到聯(lián)合損失函數(shù)收斂停止預(yù)訓(xùn)練，得到預(yù)訓(xùn)練后的圖片編碼器和預(yù)訓(xùn)練后的文本編碼器；

多模態(tài)特征模塊，所述多模態(tài)特征模塊使用所述預(yù)訓(xùn)練后的圖片編碼器提取腫瘤相關(guān)的胃鏡病例樣本中多張圖片的特征，使用所述預(yù)訓(xùn)練后的文本編碼器提取腫瘤相關(guān)的胃鏡病例樣本中多條主訴文本的特征，對提取到的多張圖片的特征和多條主訴文本的特征進(jìn)行特征融合得到腫瘤相關(guān)的胃鏡病例樣本的多模態(tài)特征；

訓(xùn)練模塊，所述訓(xùn)練模塊使用提取到的多張圖片的特征訓(xùn)練預(yù)訓(xùn)練后的圖片編碼器得到訓(xùn)練完成的圖片編碼器，使用提取到的多條主訴文本的特征訓(xùn)練文本編碼器得到訓(xùn)練完成的文本編碼器，使用所述腫瘤相關(guān)的胃鏡病例樣本的多模態(tài)特征訓(xùn)練所述分類器得到訓(xùn)練完成的分類器；

預(yù)測模塊，所述預(yù)測模塊獲取待測病例并輸入所述訓(xùn)練完成的圖片編碼器、文本編碼器得到待測病例的多模態(tài)特征，將待測病例的多模態(tài)特征輸入訓(xùn)練完成的分類器進(jìn)行類別預(yù)測得到胃部腫瘤的分類結(jié)果。