[發明專利]平行多通道卷積神經網絡、構建方法及圖像特征提取方法

有效

• 申請號: 201711472297.1
• 申請日: 2017-12-29
• 公開（公告）號: CN108182441B
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 喻莉;謝存煌
• 申請（專利權）人: 華中科技大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 廖盈春;李智

1.一種平行多通道卷積神經網絡的構建方法，其特征在于，包括：

對于預設多模態數據庫中的各模態圖像，構建與各模態圖像對應的子模態卷積神經網絡模型，并通過各子模態卷積神經網絡模型提取各模態圖像對應的深度特征向量；

在每個子模態卷積神經網絡模型的目標全連接層，將各子模態卷積神經網絡模型所提取的深度特征向量進行連接并分配連接權重系數得到包含各模態圖像信息的融合特征向量，以構建初始平行多通道卷積神經網絡模型；

將訓練數據集送入所述初始平行多通道卷積神經網絡模型中，對所述初始平行多通道卷積神經網絡模型中的訓練參數進行初次優化訓練；對所述初始平行多通道卷積神經網絡模型的訓練過程包括前向傳播和反向誤差傳播，其中，在所述反向誤差傳播過程中的，由確定所述初始平行多通道卷積神經網絡模型中第l層的特征圖，其中，z^l表示激活函數f在第l層的輸入值，w^l表示第l層的核參數矩陣，b^l表示第l層的偏置項，下標j表示第j個子模態卷積神經網絡模型，n表示子模態卷積神經網絡模型的個數，上標l表示各子模態卷積神經網絡模型連接的全連接層部分，上標l-1表示子模態卷積神經網絡模型的最后一層，P_j表示第j個子模態卷積神經網絡模型的連接權重系數矩陣；P_j＝(I_|j|0)，其中，|j|表示第j個子模態卷積神經網絡模型在目標連接層中輸入向量的維度，I_|j|表示|j|維單位矩陣；由得到所有子模態卷積神經網絡模型在目標連接層部分的反向誤差，其中，表示第l層的傳播誤差δ^l中屬于第j個子模態卷積神經網絡模型中的部分；

將驗證數據集送入初次優化訓練后的平行多通道卷積神經網絡模型中進行效果評估，并進行最終優化得到目標平行多通道卷積神經網絡模型，其中，所述預設多模態數據庫中包括所述訓練數據集與所述驗證數據集。

2.根據權利要求1所述的方法，其特征在于，在所述將訓練數據集送入所述初始平行多通道卷積神經網絡模型中，對所述初始平行多通道卷積神經網絡模型中的訓練參數進行初次優化訓練之前，所述方法還包括：

將所述預設多模態數據庫中的若干個訓練數據送入到棧式自編碼網絡中，預訓練得到所述初始平行多通道卷積神經網絡模型的全連接層的每一層網絡參數的初始值。

3.根據權利要求2所述的方法，其特征在于，所述預訓練得到所述初始平行多通道卷積神經網絡模型的全連接層的每一層網絡參數的初始值，包括：

第i個稀疏自編碼器的輸入層參數為第i-1個稀疏自編碼器的隱含層特征向量，訓練得到所述第i個稀疏自編碼器的隱含層特征向量，并確定所述第i個稀疏自編碼器的隱含層參數，其中，稀疏自編碼器的個數與所述初始平行多通道卷積神經網絡模型的全連接層包含的隱含層的個數有關，且第一個稀疏自編碼器的輸入層參數為各模態圖像的特征向量；

將各稀疏自編碼器的隱含層參數作為所述初始平行多通道卷積神經網絡模型的全連接層的每一層網絡參數的初始值。

4.一種基于權利要求1-3任一項所述的平行多通道卷積神經網絡的構建方法的多模態圖像特征提取方法，包括：將待提取多模態圖像送入基于權利要求1-3任一項所述方法構建的平行多通道卷積神經網絡模型，提取所述平行多通道卷積神經網絡模型的目標層的多模態圖像特征。