[發(fā)明專利]基于弱監(jiān)督學(xué)習(xí)的三維圖像分類方法、系統(tǒng)、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210267031.8
• 申請(qǐng)日: 2022-03-18
• 公開（公告）號(hào): CN114399634A
• 公開（公告）日: 2022-04-26
• 發(fā)明（設(shè)計(jì)）人: 賈士紳;薛夢(mèng)凡;朱聞韜
• 申請(qǐng)（專利權(quán)）人: 之江實(shí)驗(yàn)室
• 主分類號(hào): G06V10/25
• 分類號(hào): G06V10/25;G06K9/62;G06T7/00;G06T7/11;G16H30/20;G06V10/764;G06V10/762
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 邱啟旺

1.一種基于弱監(jiān)督學(xué)習(xí)的三維圖像分類方法，其特征在于，包括：

獲取三維圖像；

根據(jù)至少兩種條件提取三維圖像的感興趣區(qū)域，獲得至少兩種顯現(xiàn)不同感興趣區(qū)域的三維圖像；

將所述至少兩種顯現(xiàn)不同感興趣區(qū)域的三維圖像在任意一個(gè)維度上的二維切片一一進(jìn)行堆疊，獲得堆疊二維切片；

使用預(yù)訓(xùn)練好的二維圖像分類網(wǎng)絡(luò)提取每一張堆疊二維切片的深度特征h_k，k=1,…,K，K表示三維圖像的二維切片數(shù)量；

將K張堆疊二維切片的深度特征h_k輸入至訓(xùn)練好的基于雙階段注意力的多示例學(xué)習(xí)網(wǎng)絡(luò)，獲得所述三維圖像的分類結(jié)果；

所述基于雙階段注意力的多示例學(xué)習(xí)網(wǎng)絡(luò)包括：

第一階段注意力模塊，用于根據(jù)輸入的每一張堆疊二維切片的深度特征h_k計(jì)算每一張堆疊二維切片的注意力分?jǐn)?shù)，并依據(jù)注意力分?jǐn)?shù)選定分?jǐn)?shù)最高的堆疊二維切片的深度特征為關(guān)鍵示例h_m；

第二階段注意力模塊，用于將輸入的每一張堆疊二維切片的深度特征h_k轉(zhuǎn)換成查詢向量q_k和信息向量v_k，計(jì)算每一張堆疊二維切片的查詢向量q_k到關(guān)鍵實(shí)例查詢向量的距離作為每一張堆疊二維切片的最終注意力分?jǐn)?shù)；將每一張堆疊二維切片的最終注意力分?jǐn)?shù)作為權(quán)重對(duì)對(duì)應(yīng)的信息向量v_k進(jìn)行加權(quán)聚合獲得表征高層的包級(jí)別特征；

分類層，用于根據(jù)包級(jí)別特征輸出所述三維圖像的分類結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述三維圖像為醫(yī)學(xué)三維圖像。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括利用收集的三維圖像數(shù)據(jù)集對(duì)基于雙階段注意力的多示例學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得訓(xùn)練好的基于雙階段注意力的多示例學(xué)習(xí)網(wǎng)絡(luò)的步驟；所述三維圖像數(shù)據(jù)集的每組樣本包括K張堆疊二維切片的深度特征h_k、及K張堆疊二維切片對(duì)應(yīng)的三維圖像分類標(biāo)簽，其中，所有樣本的堆疊二維切片大小一致。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述利用收集的三維圖像數(shù)據(jù)集對(duì)基于雙階段注意力的多示例學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得訓(xùn)練好的基于雙階段注意力的多示例學(xué)習(xí)網(wǎng)絡(luò)的步驟具體為：

將每組樣本的K張堆疊二維切片的深度特征h_k輸入至基于雙階段注意力的多示例學(xué)習(xí)網(wǎng)絡(luò)中，以最小化損失函數(shù)為目標(biāo)，使用隨機(jī)梯度下降算法對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行優(yōu)化，獲得訓(xùn)練好的基于雙階段注意力的多示例學(xué)習(xí)網(wǎng)絡(luò)；所述損失函數(shù)包括基于雙階段注意力的多示例學(xué)習(xí)網(wǎng)絡(luò)輸出的預(yù)測(cè)分類結(jié)果與樣本對(duì)應(yīng)的真實(shí)分類標(biāo)簽的二值交叉熵?fù)p失函數(shù)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述損失函數(shù)還包括示例級(jí)聚類損失函數(shù)，表示如下：

其中，其中τ、α為平滑參數(shù)，Y為可能的類別標(biāo)簽，表示閾值函數(shù)，s_j表示第j類別的預(yù)測(cè)分?jǐn)?shù)，s_y表示真實(shí)類別的預(yù)測(cè)分?jǐn)?shù)。