[發(fā)明專利]一種基于時閾聚焦圖網(wǎng)絡(luò)的NAFLD超聲視頻分類方法

有效

• 申請?zhí)枺?/td>: 202010923735.7
• 申請日: 2020-09-04
• 公開（公告）號: CN112085716B
• 公開（公告）日: 2022-06-07
• 發(fā)明（設(shè)計）人: 王連生
• 申請（專利權(quán)）人: 廈門大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 廈門致群財富專利代理事務(wù)所(普通合伙) 35224
• 代理人: 劉兆慶

1.一種基于時閾聚焦圖網(wǎng)絡(luò)的NAFLD超聲視頻分類方法，其特征在于：包括以下步驟：

S1、將一段肝臟超聲視頻輸入時閾聚焦圖網(wǎng)絡(luò)，所述時閾聚焦圖網(wǎng)絡(luò)由三個子網(wǎng)絡(luò)組成，分別是特征提取網(wǎng)絡(luò)、局部連接時閾圖網(wǎng)絡(luò)和全局連接時閾圖網(wǎng)絡(luò)，所述特征提取網(wǎng)絡(luò)對每一幀進行編碼，得到整個視頻的特征向量序列F；

S2、局部連接時閾圖網(wǎng)絡(luò)構(gòu)建稀疏圖并判定每一幀屬于NAFLD的分類概率p；

S3、全局連接時閾圖網(wǎng)絡(luò)構(gòu)建稠密圖并判定每一幀對最終視頻分類的重要性程度a；

S4、結(jié)合步驟S2所述的分類概率p和步驟S3所述的重要性程度a，計算最終視頻整體的分類概率

所述步驟S4中最終視頻整體的分類概率可表示如下：

S5、計算損失函數(shù)，優(yōu)化分類結(jié)果，所述損失函數(shù)由二進制交叉熵損失和區(qū)間聚焦損失兩部分組成。

2.如權(quán)利要求1所述的一種基于時閾聚焦圖網(wǎng)絡(luò)的NAFLD超聲視頻分類方法，其特征在于：步驟S1具體為：給定一段肝臟超聲視頻V＝{I_t|t＝1,2,...T}，其中，I_t表示視頻中的第t幀，T表示視頻長度，經(jīng)過特征提取網(wǎng)絡(luò)對每一幀進行編碼，得到整個視頻的特征向量序列F＝{F_t|t＝1,2,...T}，其中F_t表示視頻中第t幀對應(yīng)的特征向量。

3.如權(quán)利要求2所述的一種基于時閾聚焦圖網(wǎng)絡(luò)的NAFLD超聲視頻分類方法，其特征在于：所述步驟S2中的所述局部連接時閾圖網(wǎng)絡(luò)基于所述特征提取網(wǎng)絡(luò)獲得的特征向量序列F＝{F_t|t＝1,2,...T}，構(gòu)建稀疏圖G_cls＝(V_cls,E_cls,F_t)，其中，V和E分別表示結(jié)點的集合與邊的集合，稀疏圖的鄰接矩陣定義如下：

其中，元素表示第i幀與第j幀之間的關(guān)聯(lián)性，即邊的權(quán)重，幀之間的距離越近，關(guān)聯(lián)性越高，反之越低，r表示連接所連接的幀之間的最長距離，僅距離小于r的幀之間存在相連的邊，對上述的鄰接矩陣進行歸一化處理如下：

其中，I∈R^T×T是一個單位矩陣，用于建立自連接，而代表對應(yīng)的度矩陣，再經(jīng)過兩個圖卷積層與激活函數(shù)之后，最終得到概率分布如下：

其中，和是可訓(xùn)練的參數(shù)矩陣，σ表示sigmoid函數(shù)。

4.如權(quán)利要求3所述的一種基于時閾聚焦圖網(wǎng)絡(luò)的NAFLD超聲視頻分類方法，其特征在于：所述步驟S3中的所述全局連接時閾圖網(wǎng)絡(luò)基于所述特征提取網(wǎng)絡(luò)獲得的特征向量序列F＝{F_t|t＝1,2,...T}，構(gòu)建稠密圖G_att＝(V_att,E_att,F_t)，其中，V和E分別表示結(jié)點的集合與邊的集合，稠密圖的鄰接矩陣定義如下：

其中，元素表示第i幀與第j幀之間的關(guān)聯(lián)性，即邊的權(quán)重，幀之間的距離越近，關(guān)聯(lián)性越高，反之越低，r表示連接所連接的幀之間的最長距離，僅距離小于r的幀之間存在相連的邊，對上述的鄰接矩陣進行歸一化處理如下：

其中，I∈R^T×T是一個單位矩陣，用于建立自連接，而代表對應(yīng)的度矩陣，再經(jīng)過兩個圖卷積層與激活函數(shù)之后，最終得到概率分布如下：

其中，和是可訓(xùn)練的參數(shù)矩陣，σ表示sigmoid函數(shù)。

5.如權(quán)利要求4所述的一種基于時閾聚焦圖網(wǎng)絡(luò)的NAFLD超聲視頻分類方法，其特征在于：所述步驟5中的損失函數(shù)的數(shù)學(xué)表達式如下：L＝L_BCE+λ₁×L_IFL,其中，L_BCE表示二進制交叉熵損失，L_IFL表示區(qū)間聚焦損失，λ₁是控制二進制交叉熵損失和區(qū)間聚焦損失之間相對重要性的比例因子。

6.如權(quán)利要求5所述的一種基于時閾聚焦圖網(wǎng)絡(luò)的NAFLD超聲視頻分類方法，其特征在于：所述λ₁設(shè)為1。