[發明專利]神經網絡模型的訓練方法及裝置、存儲介質和電子設備

有效

• 申請號: 202010954707.1
• 申請日: 2020-09-11
• 公開（公告）號: CN112085197B
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 陳偉導;印宏坤;武江芬;張榮國;李新陽;王少康;陳寬
• 申請（專利權）人: 推想醫療科技股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06T7/00
• 代理公司: 北京布瑞知識產權代理有限公司 11505
• 代理人: 秦衛中

本發明提供了一種神經網絡模型的訓練方法及裝置、存儲介質和電子設備。神經網絡模型的訓練方法包括對同一身體部位的多個模態影像分別進行特征提取得到對應的多個模態特征；對多個模態特征進行融合得到第一融合向量；采用循環神經網絡的方式對第一融合向量進行特征聚合重建得到第一特征向量；根據第一特征向量計算第一損失函數；根據第一損失函數訓練神經網絡模型。本發明通過對多個模態特征進行融合得到第一融合向量以及采用循環神經網絡的方式對第一融合向量進行特征聚合重建得到第一特征向量，從而能夠有效挖掘多個模態影像中多個模態特征的關聯性。

技術領域

本發明涉及醫學影像技術領域，具體涉及一種神經網絡模型的訓練方法及裝置、存儲介質和電子設備。

背景技術

近年來，深度學習算法在圖像處理領域得到了很好的應用，這也就啟發了很多研究者們將該技術應用于醫學影像分析中。然而，在醫學影像分析中，通常需要綜合分析同一身體部位多個模態的影像，因而增加了將深度學習算法應用在醫學影像分析中的難度。

另外，雖然部分研究者采用了深度神經網絡對多個模態的影像進行了訓練，輔助醫生做出正確的判斷，然而通常采用對多個模態的影像的特征進行簡單的合并，并未考慮多個模態的影像中特征之間的差異和共性，因而不能有效挖掘多個模態影像之間的關聯性。

發明內容

有鑒于此，本發明實施例提供了一種神經網絡模型的訓練方法及裝置、存儲介質和電子設備，能夠有效挖掘多個模態影像之間的關聯性。

根據本發明實施例的第一方面，提供一種神經網絡模型的訓練方法，該訓練方法包括：對同一身體部位的多個模態影像分別進行特征提取得到對應的多個模態特征；對多個模態特征進行融合得到第一融合向量；采用循環神經網絡的方式對第一融合向量進行特征聚合重建得到第一特征向量；根據第一特征向量計算第一損失函數；根據第一損失函數訓練神經網絡模型。

在本發明一實施例中，上述對多個模態特征進行融合得到第一融合向量，包括：從K個模態特征中隨機選擇P個模態特征；對P個模態特征進行融合得到第一融合向量，其中K和P為正整數，并且K大于P。

在本發明一實施例中，在上述對多個模態特征進行融合得到第一融合向量之后，該訓練方法還包括：采用圖卷積和卷積的方式分別對第一融合向量進行特征聚合重建得到第二特征向量和第三特征向量；對第二特征向量和第三特征向量進行融合得到第二融合向量；根據第二融合向量計算第二損失函數；采用第二損失函數對第二融合向量進行優化得到優化后的第二融合向量；其中，上述根據第一特征向量計算第一損失函數，包括：將第一特征向量和優化后的第二融合向量進行融合得到第三融合向量；根據第三融合向量計算第一損失函數。

在本發明一實施例中，第一損失函數包括交叉熵損失函數、均方差損失函數或合頁損失函數，第二損失函數包括三元組損失函數。

在本發明一實施例中，在上述采用第二損失函數對第二融合向量進行優化得到優化后的第二融合向量之后，該訓練方法還包括：將優化后的第二融合向量輸入全連接層并經過激活層處理后得到第四特征向量；利用第四特征向量對第一特征向量進行特征加權得到第五特征向量；其中，其中，上述采用循環神經網絡的方式對第一融合向量進行特征聚合重建得到第一特征向量，包括：采用循環神經網絡的方式對第五特征向量進行特征聚合重建得到第一特征向量。

在本發明一實施例中，在上述對同一身體部位的多個模態影像分別進行特征提取得到對應的多個模態特征之前，該訓練方法還包括：對多個模態影像進行預處理以使多個模態影像的空間位置分布一致。

在本發明一實施例中，上述對多個模態影像分別進行特征提取得到對應的多個模態特征，包括：通過共享參數的方式對多個模態影像分別進行特征提取得到對應的多個模態特征。

在本發明一實施例中，循環神經網絡包括門控循環單元或長短期記憶網絡。