[發(fā)明專利]一種基于孿生注意力網(wǎng)絡(luò)的NAFLD超聲視頻診斷系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010924390.7
• 申請日: 2020-09-04
• 公開（公告）號: CN112085718B
• 公開（公告）日: 2022-05-10
• 發(fā)明（設(shè)計）人: 王連生
• 申請（專利權(quán)）人: 廈門大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廈門致群財富專利代理事務(wù)所(普通合伙) 35224
• 代理人: 劉兆慶

本發(fā)明公開了一種基于孿生注意力網(wǎng)絡(luò)的NAFLD超聲視頻診斷系統(tǒng)，該系統(tǒng)由兩個結(jié)構(gòu)相同且共享權(quán)重的孿生注意力子網(wǎng)絡(luò)以及損失函數(shù)組成，其中，孿生注意力子網(wǎng)絡(luò)由雙流特征提取模塊、線性分類模塊和上下文注意力模塊組成，損失函數(shù)由二進制交叉熵?fù)p失(BCE)、對比相似度損失(CSL)和對比差異性損失(CDL)組成。本發(fā)明通過在孿生注意力網(wǎng)絡(luò)的基礎(chǔ)上添加了雙流特征提取模塊，并引入損失函數(shù)，使得NAFLD超聲視頻診斷系統(tǒng)達到了90.56％的準(zhǔn)確率，88.26％的特異性，93.58％的敏感性，為NAFLD超聲視頻診斷提供了一種高效可行的方法。

技術(shù)領(lǐng)域

本發(fā)明涉及短視頻處理技術(shù)領(lǐng)域，特別涉及一種基于孿生注意力網(wǎng)絡(luò)的NAFLD超聲視頻診斷系統(tǒng)。

背景技術(shù)

非酒精性脂肪性肝病(NAFLD)的早期篩查有助于患者預(yù)防不可逆的晚期肝臟疾病，但NAFLD的超聲視頻的人工診斷需要醫(yī)生瀏覽冗長的視頻，這在臨床實踐中既繁瑣又耗時。因此，可以利用深度學(xué)習(xí)的方法，實現(xiàn)超聲視頻中NAFLD的自動診斷，以提高診斷的效率。

對于在超聲視頻中進行NAFLD診斷的任務(wù)來說，面臨的最主要的問題就是無關(guān)信息的干擾以及超聲本身低質(zhì)量帶來的特征較弱的問題。

發(fā)明內(nèi)容

為解決上述問題，本發(fā)明提供了一種基于孿生注意力網(wǎng)絡(luò)的NAFLD超聲視頻診斷系統(tǒng)，以實現(xiàn)NAFLD的高效的自動診斷。

本發(fā)明采用以下技術(shù)方案：

一種基于孿生注意力網(wǎng)絡(luò)的NAFLD超聲視頻診斷系統(tǒng)，由兩個結(jié)構(gòu)相同且共享權(quán)重的孿生注意力子網(wǎng)絡(luò)以及損失函數(shù)組成，所述孿生注意力子網(wǎng)絡(luò)由雙流特征提取模塊、線性分類模塊和上下文注意力模塊組成，所述損失函數(shù)由二進制交叉熵?fù)p失、對比相似度損失和對比差異性損失組成。

進一步地，所述雙流特征提取模塊包括共享模塊、分類模塊和注意力模塊；所述雙流特征提取模塊用于提取分類與注意力的不同特征。

進一步地，所述共享模塊用于提取所述分類模塊與所述注意力模塊共享的低層級特征；所述分類模塊用于提取高層級的特征以生成分類；所述注意力模塊用于提取高層級的特征以生成注意力。

進一步地，對于給定視頻V＝{I_t|t＝1,2,...,T}，所述雙流特征提取模塊對于視頻的每一幀提供兩種特征表示，每一幀I_t分別為f_cls(I_t；θ_cls,θ)∈R^D和f_att(I_t；θ_att,θ)∈R^D，其中θ表示共享參數(shù)，θ_cls，θ_att分別表示所述分類模塊和注意力模塊的獨立參數(shù)，I_t是視頻的第t幀，T表示視頻的幀數(shù)。

進一步地，所述線性分類模塊使用線性分類器預(yù)測每一幀屬于NAFLD的概率，為最終的診斷提供細(xì)粒度的參考。

進一步地，所述線性分類模塊基于所述雙流特征提取模塊提取的特征f_cls，學(xué)習(xí)線性映射W∈R^1×D，將特征表示f_cls轉(zhuǎn)換為一維標(biāo)量Wf_cls，sigmoid函數(shù)將標(biāo)量歸一化為介于0和1之間，代表最終概率值，如下所示：

p_t＝σ(Wf_cls+b)，其中b是常數(shù)項，σ表示sigmoid函數(shù)。

進一步地，所述上下文注意力模塊結(jié)合上下文對每一幀的重要程度進行打分，用于突出關(guān)鍵幀上的判別性信息并抑制無用幀的無關(guān)信息。

進一步地，所述上下文注意力模塊基于每一幀的特征向量f_att，由Bi-LSTM進一步提取的包含時序信息的隱層特征可表示如下：