[發(fā)明專利]一種基于時閾聚焦圖網(wǎng)絡的NAFLD超聲視頻分類方法

有效

• 申請?zhí)枺?/td>: 202010923735.7
• 申請日: 2020-09-04
• 公開（公告）號: CN112085716B
• 公開（公告）日: 2022-06-07
• 發(fā)明（設計）人: 王連生
• 申請（專利權）人: 廈門大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 廈門致群財富專利代理事務所(普通合伙) 35224
• 代理人: 劉兆慶

本發(fā)明公開了一種基于時閾聚焦圖網(wǎng)絡的NAFLD超聲視頻分類方法，該方法通過結(jié)合時閾聚焦圖網(wǎng)絡和損失函數(shù)，對輸入的肝臟超聲視頻分類，從而判斷是否患有NAFLD。其中，時閾聚焦圖網(wǎng)絡由三個子網(wǎng)絡組成，分別是特征提取網(wǎng)絡、局部連接時閾圖網(wǎng)絡和全局連接時閾圖網(wǎng)絡；損失函數(shù)由二進制交叉熵損失和區(qū)間聚焦損失兩部分組成。本發(fā)明能夠解決現(xiàn)有NAFLD診斷中存在的耗時、專業(yè)要求高、誤判的問題，提供一種可靠、高效的NAFLD自動診斷方法。

技術領域

本發(fā)明涉及圖像處理技術領域，特別涉及一種基于時閾聚焦圖網(wǎng)絡的NAFLD超聲視頻分類方法。

背景技術

超聲視頻憑借其無創(chuàng)性和低成本的優(yōu)勢被廣泛應用于非酒精性脂肪性肝病(NAFLD)的診斷，然而，大多數(shù)的現(xiàn)有NAFLD診斷方法聚焦于關鍵幀中的NAFLD診斷而非直接對視頻進行診斷，導致面臨以下幾個問題：(1)耗時性與專業(yè)性要求：現(xiàn)有方法要求醫(yī)生瀏覽整個視頻去人工提取關鍵幀，這在臨床診斷的過程中帶來了極大的不便性；(2)對于某些包含噪聲或特征較弱的幀較為敏感：由于在圖像層次的分類過程中，每一幀的分類與其它幀都是相互獨立的，因此，對于一些包含噪聲或特征較弱的幀，很容易發(fā)生誤判；(3)中間誤差：基于關鍵幀的方法一般分為兩步，第一步提取關鍵幀，第二步根據(jù)關鍵幀進行診斷，在這種情況下，第一步產(chǎn)生的主觀誤差會累積進而影響后續(xù)的診斷步驟。

發(fā)明內(nèi)容

為解決上述問題，本發(fā)明提供了一種基于時閾聚焦圖網(wǎng)絡的NAFLD超聲視頻分類方法。

本發(fā)明采用以下技術方案：

一種基于時閾聚焦圖網(wǎng)絡的NAFLD超聲視頻分類方法，包括以下步驟：

S1、將一段肝臟超聲視頻輸入時閾聚焦圖網(wǎng)絡，所述時閾聚焦圖網(wǎng)絡由三個子網(wǎng)絡組成，分別是特征提取網(wǎng)絡、局部連接時閾圖網(wǎng)絡和全局連接時閾圖網(wǎng)絡，所述特征提取網(wǎng)絡對每一幀進行編碼，得到整個視頻的特征向量序列F；

S2、局部連接時閾圖網(wǎng)絡構建稀疏圖并判定每一幀屬于NAFLD的分類概率p；

S3、全局連接時閾圖網(wǎng)絡構建稠密圖并判定每一幀對最終視頻分類的重要性程度a；

S4、結(jié)合步驟S2所述的分類概率p和步驟S3所述的重要性程度a，計算最終視頻整體的分類概率從而判斷是否患有NAFLD；

S5、計算損失函數(shù)，優(yōu)化分類結(jié)果，所述損失函數(shù)由二進制交叉熵損失和區(qū)間聚焦損失兩部分組成。

進一步地，步驟S1具體為：給定一段肝臟超聲視頻V＝{I_t|t＝1,2,...T}，其中，I_t表示視頻中的第t幀，T表示視頻長度，經(jīng)過特征提取網(wǎng)絡對每一幀進行編碼，得到整個視頻的特征向量序列F＝{F_t|t＝1,2,...T}，其中F_t表示視頻中第t幀對應的特征向量。

進一步地，所述步驟S2中的所述局部連接時閾圖網(wǎng)絡基于所述特征提取網(wǎng)絡獲得的特征向量序列F＝{F_t|t＝1,2,...T}，構建稀疏圖G_cls＝(V_cls,E_cls,F_t)，其中，V和E分別表示結(jié)點與邊的集合，特別地，稀疏圖的鄰接矩陣定義如下：

其中，元素表示第i幀與第j幀之間的關聯(lián)性，即邊的權重，幀之間的距離越近，關聯(lián)性越高，反之越低，r表示連接所連接的幀之間的最長距離，僅距離小于r的幀之間存在相連的邊，對上述的鄰接矩陣進行歸一化處理如下：

其中，I∈R^T×T是一個單位矩陣，用于建立自連接，而代表對應的度矩陣，再經(jīng)過兩個圖卷積層與激活函數(shù)之后，最終得到概率分布如下：