[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法及裝置、存儲介質(zhì)和電子設(shè)備有效
| 申請?zhí)枺?/td> | 202010954707.1 | 申請日： | 2020-09-11 |
| 公開（公告）號： | CN112085197B | 公開（公告）日： | 2022-07-22 |
| 發(fā)明（設(shè)計）人： | 陳偉導(dǎo);印宏坤;武江芬;張榮國;李新陽;王少康;陳寬 | 申請（專利權(quán)）人： | 推想醫(yī)療科技股份有限公司 |
| 主分類號： | G06N3/08 | 分類號： | G06N3/08;G06T7/00 |
| 代理公司： | 北京布瑞知識產(chǎn)權(quán)代理有限公司 11505 | 代理人： | 秦衛(wèi)中 |
| 地址： | 100085 北京市海淀*** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 神經(jīng)網(wǎng)絡(luò) 模型 訓(xùn)練 方法 裝置 存儲 介質(zhì) 電子設(shè)備 | ||
1.一種神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法，其特征在于，包括：
通過共享參數(shù)的多個特征提取模塊對同一身體部位的多個模態(tài)影像分別進行特征提取得到多個模態(tài)影像一一對應(yīng)的多個模態(tài)特征；
對所述多個模態(tài)特征進行融合得到第一融合向量；
采用循環(huán)神經(jīng)網(wǎng)絡(luò)的方式對所述第一融合向量進行特征聚合重建得到第一特征向量；
采用圖卷積和卷積的方式分別對所述第一融合向量進行特征聚合重建得到第二特征向量和第三特征向量；
對所述第二特征向量和所述第三特征向量進行融合得到第二融合向量；
根據(jù)所述第二融合向量計算第二損失函數(shù)；
采用所述第二損失函數(shù)對所述第二融合向量進行優(yōu)化得到優(yōu)化后的第二融合向量；
將所述第一特征向量和所述優(yōu)化后的第二融合向量進行融合得到第三融合向量；根據(jù)第三融合向量計算第一損失函數(shù)；
根據(jù)所述第一損失函數(shù)訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)模型，以挖掘多個模態(tài)影像中多個模態(tài)特征的關(guān)聯(lián)性。
2.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其特征在于，所述對所述多個模態(tài)特征進行融合得到第一融合向量，包括：
從K個模態(tài)特征中隨機選擇P個模態(tài)特征；
對所述P個模態(tài)特征進行融合得到所述第一融合向量，其中K和P為正整數(shù)，并且K大于P。
3.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其特征在于，所述第一損失函數(shù)包括交叉熵損失函數(shù)、均方差損失函數(shù)或合頁損失函數(shù)，所述第二損失函數(shù)包括三元組損失函數(shù)。
4.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其特征在于，在所述采用所述第二損失函數(shù)對所述第二融合向量進行優(yōu)化得到優(yōu)化后的第二融合向量之后，還包括：
將所述優(yōu)化后的第二融合向量輸入全連接層并經(jīng)過激活層處理后得到第四特征向量；
利用所述第四特征向量對所述第一特征向量進行特征加權(quán)得到第五特征向量；
其中，所述采用循環(huán)神經(jīng)網(wǎng)絡(luò)的方式對所述第一融合向量進行特征聚合重建得到第一特征向量，包括：
采用所述循環(huán)神經(jīng)網(wǎng)絡(luò)的方式對所述第五特征向量進行特征聚合重建得到所述第一特征向量。
5.根據(jù)權(quán)利要求1至4中的任一項所述的訓(xùn)練方法，其特征在于，在所述對同一身體部位的多個模態(tài)影像分別進行特征提取得到多個模態(tài)影像一一對應(yīng)的多個模態(tài)特征之前，還包括：
對所述多個模態(tài)影像進行預(yù)處理以使所述多個模態(tài)影像的空間位置分布一致。
6.根據(jù)權(quán)利要求1至4中的任一項所述的訓(xùn)練方法，其特征在于，所述循環(huán)神經(jīng)網(wǎng)絡(luò)包括門控循環(huán)單元或長短期記憶網(wǎng)絡(luò)。
7.一種神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練裝置，其特征在于，包括：
特征提取模塊，用于通過共享參數(shù)的多個特征提取模塊對同一身體部位的多個模態(tài)影像分別進行特征提取得到多個模態(tài)影像一一對應(yīng)的多個模態(tài)特征；
第一融合模塊，用于對所述多個模態(tài)特征進行融合得到第一融合向量；
循環(huán)神經(jīng)網(wǎng)絡(luò)模塊，用于對所述第一融合向量進行特征聚合重建得到第一特征向量；
圖卷積和卷積模塊，用于采用圖卷積和卷積的方式分別對所述第一融合向量進行特征聚合重建得到第二特征向量和第三特征向量；
第二融合模塊，用于對所述第二特征向量和所述第三特征向量進行融合得到第二融合向量；
第二計算模塊，用于根據(jù)所述第二融合向量計算第二損失函數(shù)；
第一優(yōu)化模塊，用于采用所述第二損失函數(shù)對所述第二融合向量進行優(yōu)化得到優(yōu)化后的第二融合向量；
第一計算模塊，用于將所述第一特征向量和所述優(yōu)化后的第二融合向量進行融合得到第三融合向量；根據(jù)第三融合向量計算第一損失函數(shù)；
訓(xùn)練模塊，用于根據(jù)所述第一損失函數(shù)訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)模型，以挖掘多個模態(tài)影像中多個模態(tài)特征的關(guān)聯(lián)性。
8.一種計算機可讀存儲介質(zhì)，其特征在于，所述存儲介質(zhì)存儲有計算機程序，所述計算機程序用于執(zhí)行上述權(quán)利要求1-6中任一項所述的神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法。
9.一種電子設(shè)備，其特征在于，包括：
處理器；
用于存儲所述處理器可執(zhí)行指令的存儲器；
所述處理器，用于執(zhí)行上述權(quán)利要求1-6中任一項所述的神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于推想醫(yī)療科技股份有限公司，未經(jīng)推想醫(yī)療科技股份有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010954707.1/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 硬件神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換方法、計算裝置、軟硬件協(xié)作系統(tǒng)
- 生成較大神經(jīng)網(wǎng)絡(luò)
- 神經(jīng)網(wǎng)絡(luò)的生成方法、生成裝置和電子設(shè)備
- 一種舌診方法、裝置、計算設(shè)備及計算機存儲介質(zhì)
- 學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
- 脈沖神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換方法及相關(guān)轉(zhuǎn)換芯片
- 圖像處理方法、裝置、可讀存儲介質(zhì)和計算機設(shè)備
- 一種適應(yīng)目標數(shù)據(jù)集的網(wǎng)絡(luò)模型微調(diào)方法、系統(tǒng)、終端和存儲介質(zhì)
- 用于重構(gòu)人工神經(jīng)網(wǎng)絡(luò)的處理器及其操作方法、電氣設(shè)備
- 一種圖像神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化方法及裝置
