[發明專利]面向多特征圖的異構深度神經網絡結構組合方法及系統

有效

• 申請號: 202010001772.2
• 申請日: 2020-01-02
• 公開（公告）號: CN111210006B
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 陳紅松;陳京九
• 申請（專利權）人: 北京科技大學
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V30/19;G06V30/226;G06N3/0464;G06N3/044;G06N3/045;G06N3/08
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波

本發明提供一種面向多特征圖的異構深度神經網絡結構組合方法及系統，該面向多特征圖的異構深度神經網絡結構組合方法包括：獲取前置神經網絡的輸出模塊輸出的特征子圖；對特征子圖進行拼接操作，得到拼接特征圖；將拼接特征圖輸出至后置神經網絡的輸入模塊。本發明通過拼接多個特征子圖連接異構神經網絡的前置神經網絡的輸出模塊與后置神經網絡的輸入模塊，保留了前置神經網絡的輸出模塊中特征子圖的內在空間特征，提高了異構神經網絡模型的組合效率，無需進行復雜的計算，提高了異構深度神經網絡模型的準確度。

技術領域

本發明涉及異構神經網絡技術領域，特別是指一種面向多特征圖的異構深度神經網絡結構組合方法及系統。

背景技術

隨著人工智能技術的發展，深度學習在各個領域均有廣泛的應用。其中，卷積神經網絡(Convolutional?Neural?Networks,CNN)由于其較好的空間特征識別能力，被廣泛使用于圖像領域；循環神經網絡(Recurrent?Neural?Networks,RNN)由于其較好的時間特征識別能力，被廣泛應用于自然語言處理領域。

然而單一的深度神經網絡結構無法同時提取時間與空間兩個維度特征，因此為實現更復雜任務處理，異構神經網絡及融合方法隨之產生。CNN用于提取輸入數據的空間維度特征，RNN用于提取輸入數據的時間維度特征，二者融合的結構可同時獲取數據的時空特征，大大擴展了深度學習的應用場景。

現有異構深度神經網絡結構組合的方法單一，且兩個網絡結構組合時，未能考慮前置神經網絡的輸出中特征映射子圖中原有的空間特征，都是直接將其映射到一維向量并傳到后置神經網絡的輸入中。該種方式不但會破壞特征子圖的內在空間特征，而且計算復雜度高，還會影響深度神經網絡模型的準確度。

發明內容

本發明要解決的技術問題是提供一種面向多特征圖的異構深度神經網絡結構組合方法及系統，保留前置深度神經網絡輸出模塊中特征子圖的內在空間特征，解決現有異構深度神經網絡結構組合方法不但會破壞特征子圖的內在空間特征，而且計算復雜度高，還會影響深度神經網絡模型的準確度的問題。

為解決上述技術問題，本發明提供如下技術方案：

一種面向多特征圖的異構深度神經網絡結構組合方法，所述面向多特征圖的異構深度神經網絡結構組合方法包括：

獲取前置神經網絡的輸出模塊輸出的特征子圖；

對所述特征子圖進行拼接操作，得到拼接特征圖；

將所述拼接特征圖輸出至后置神經網絡的輸入模塊。

其中，所述前置神經網絡為循環神經網絡或卷積神經網絡。

其中，所述后置神經網絡為循環神經網絡或卷積神經網絡。

其中，當所述后置神經網絡為卷積神經網絡時，所述對所述特征子圖進行拼接操作，得到拼接特征圖的過程，包括：

設橫向拼接參數為x，則縱向拼接參數y＝c/x；其中，x為[1,c]之間的整數，且滿足c可整除x，c為所述特征子圖的個數；

將[1，x]，[x+1，2x]，…，[c-x+1，c]各區間的特征子圖進行橫向拼接，得到y個寬度為w*x，高度為h的橫向拼接特征子圖；其中，w為所述特征子圖的寬度，h為所述特征子圖的高度；

將y個橫向拼接特征子圖按順序進行縱向拼接，得到一個寬度為w*x，高度為h*y的拼接特征圖。

其中，當所述后置神經網絡為循環神經網絡時，所述對所述特征子圖進行拼接操作，得到拼接特征圖的過程，包括：

判斷所述后置神經網絡的輸入模塊的輸入層神經元個數W是否為所述特征子圖的寬度w的整數倍；