[發(fā)明專利]基于多模態(tài)注意力模型的宮頸非典型病變診斷模型和裝置

有效

• 申請?zhí)枺?/td>: 201811276300.7
• 申請日: 2018-10-30
• 公開（公告）號: CN109543719B
• 公開（公告）日: 2020-09-08
• 發(fā)明（設(shè)計(jì)）人: 吳健;劉雪晨;馬鑫軍;陳婷婷;王文哲;陸逸飛;呂衛(wèi)國;袁春女;姚曄儷;王新宇;吳福理
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G16H50/50
• 代理公司: 杭州天勤知識產(chǎn)權(quán)代理有限公司 33224
• 代理人: 胡紅娟

本發(fā)明公開了一種基于多模態(tài)注意力模型的宮頸非典型病變診斷模型和裝置，屬于醫(yī)療人工智能領(lǐng)域，首先獲取患者宮頸醋酸圖和碘圖，將該患者的病級別劃分為正常、LSIL、HSIL三類，使用該類別作為對應(yīng)醋酸圖和碘圖的標(biāo)簽，形成訓(xùn)練數(shù)據(jù)。進(jìn)行數(shù)據(jù)預(yù)處理后，傳入多模態(tài)融合模型，對模型中學(xué)習(xí)到的多層特征圖分別進(jìn)行融合，融合時，引入注意力機(jī)制，選擇分類效果好的模態(tài)，從其特征圖中產(chǎn)生輔助注意力信息，應(yīng)用于效果較差的模態(tài)中的特征圖，逐層進(jìn)行融合操作，最終輸出圖像屬于三種類別的概率，重復(fù)上述過程對模型迭代訓(xùn)練直至收斂。之后，將需要診斷病變類別的圖像輸入訓(xùn)練好的模型，使用上述特征融合方法，輸出對應(yīng)預(yù)測結(jié)果，輔助醫(yī)生診斷。

技術(shù)領(lǐng)域

本發(fā)明涉及醫(yī)療人工智能領(lǐng)域，具體地說，涉及一種基于多模態(tài)注意力模型的宮頸非典型病變診斷模型和裝置。

背景技術(shù)

宮頸癌是目前威脅女性健康的主要疾病，在全世界范圍內(nèi)也是導(dǎo)致女性死亡的第二大癌癥，嚴(yán)重破壞患者的性生活并影響生活質(zhì)量。我國每年約有15萬新發(fā)病例，約10萬婦女死于宮頸癌。

通過檢測宮頸鱗狀上皮內(nèi)病變(cervical intraepithelial neoplasia，CIN)，可以幫助患者和醫(yī)生預(yù)防宮頸癌，在醫(yī)學(xué)上，CIN可被劃分為兩組：低度鱗狀上皮內(nèi)病變(low-grade squamous intraepithelial lesion，LSIL)以及高度鱗狀上皮內(nèi)病變(high-gradesquamous intraepithelial lesion，HSIL)。在臨床實(shí)踐中，篩查的一個重要工作是將HSIL與正常LSIL區(qū)分開，因?yàn)榇蟛糠?約60％)LSIL患者會逐漸恢復(fù)正常，而HSIL則需要進(jìn)一步治療。

臨床追蹤觀察顯示，宮頸癌從病變初期發(fā)展為癌變大概需要10年時間，并不像其他疾病那樣發(fā)展的非常迅速。因此宮頸癌的預(yù)防和早期診斷，有利于提高患者生存率，具有重要的臨床意義。陰道鏡檢查是一種常用的宮頸癌篩查方法：將5％的乙酸和碘溶液作用于宮頸上皮后，使用儀器拍攝受試宮頸圖像，獲得醋酸圖和碘圖。柱狀上皮在醋酸作用下腫脹微白呈葡萄狀，鱗狀上皮色澤微微發(fā)白而無葡萄狀改變，以此來鑒別鱗狀上皮和柱狀上皮。碘溶液涂抹后原始鱗狀上皮染色呈深棕色，柱狀上皮不染色，化生的鱗狀上皮則根據(jù)化生的成熟程度不同而顯示出染色的深淺不一，據(jù)此明確病變部位及范圍。碘試驗(yàn)陰性區(qū)域(不著色區(qū))為可疑病變部位。

上述檢測圖像若由人工判別，需要醫(yī)生擁有較高的專業(yè)知識和臨床經(jīng)驗(yàn)，且長時間的工作也會造成醫(yī)生判斷準(zhǔn)確率的下降。因此，能否設(shè)計(jì)出一種準(zhǔn)確對宮頸細(xì)胞進(jìn)行病變評級的自動閱片系統(tǒng)，就成了當(dāng)前亟待解決的問題。

為了充分利用兩種類型的圖像(即兩種模態(tài))中的病變信息，可以使用多模態(tài)網(wǎng)絡(luò)模型對宮頸非典型病變診斷的問題進(jìn)行建模。識別和分析具有不同模態(tài)的病變是醫(yī)學(xué)圖像分析中的一大挑戰(zhàn)。一個簡單的多模態(tài)融合方案是在圖像級融合多類型的數(shù)據(jù)。它將多個原始圖像在顏色通道維度拼接為3D張量，并將張量應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)，用卷積核來學(xué)習(xí)多模態(tài)特征。然而，這種簡單的融合方式會將圖像中的特征破壞，導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)到的特征混亂，同時該方法的性能也不夠穩(wěn)定，并且會顯著降低訓(xùn)練樣本的數(shù)量。

發(fā)明內(nèi)容

本發(fā)明的目的為提供一種基于多模態(tài)注意力模型的宮頸非典型病變診斷模型和利用該模型進(jìn)行宮頸非典型病變診斷的裝置，宮頸非典型病變診斷模型使用了一種基于注意力機(jī)制的層級間特征圖融合模型，輸入患者宮頸的醋酸和碘溶液圖像，預(yù)測其宮頸產(chǎn)生非典型病變的概率，對醫(yī)生提供輔助診斷建議，從而提高患者存活率。

為了實(shí)現(xiàn)上述目的，本發(fā)明提供的一種基于多模態(tài)注意力模型的宮頸非典型病變診斷模型，以宮頸樣本對應(yīng)的醋酸圖和碘圖作為輸入，以該醋酸圖和碘圖產(chǎn)生非典型病變的概率作為輸出，宮頸非典型病變診斷模型通過以下步驟獲得：

1)對于同一宮頸樣本的醋酸圖和碘圖，以宮頸樣本對應(yīng)的狀態(tài)類型作為標(biāo)簽，形成訓(xùn)練數(shù)據(jù)；

2)依次對醋酸圖和碘圖進(jìn)行數(shù)據(jù)增強(qiáng)和數(shù)據(jù)歸一化處理；