[發明專利]一種輸入特征逼近的低復雜度CNN訓練方法與裝置

在審

• 申請號: 202010086794.3
• 申請日: 2020-02-11
• 公開（公告）號: CN111340182A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 李斌;陳沛鋆;劉宏福;趙成林;許方敏
• 申請（專利權）人: 無錫北郵感知技術產業研究院有限公司;北京郵電大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62;G06N20/00
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 徐雅琴

本發明提供一種輸入特征逼近的低復雜度CNN訓練方法與裝置，包括：對數據樣本進行降維處理，得到數據樣本的低維表征；將所述低維表征作為用于訓練模型的輸入數據，訓練CNN模型。本發明通過降低數據樣本的維度，利用降低數據量后的數據樣本的低維表征作為用于訓練模型的輸入數據，訓練模型，能夠降低CNN模型訓練的復雜度，降低訓練模型所需存儲資源和計算資源，能夠在配置較低的終端設備上實現模型相關運算，擴展應用場景。

技術領域

本發明涉及機器學習技術領域，尤其涉及一種輸入特征逼近的低復雜度CNN訓練方法與裝置。

背景技術

機器學習是結合數學、計算機等技術的多領域學科，近年來得到了廣泛研究和推廣應用。各種機器學習模型在圖像、視頻、語義分析、機器翻譯、序列處理等領域取得了良好的應用效果。然而，隨著深度學習技術的發展，模型結構越來越復雜，訓練和推理過程的運算復雜度越來越高，對硬件設備的存儲和計算資源要求很高，導致模型僅能部署在服務器中，無法在低配置的終端設備上實現其功能。

發明內容

有鑒于此，本發明的目的在于提出一種輸入特征逼近的低復雜度CNN訓練方法與裝置，以解決因模型復雜對硬件要求過高的問題。

基于上述目的，本發明提供了一種輸入特征逼近的低復雜度CNN訓練方法，包括：

對數據樣本進行降維處理，得到數據樣本的低維表征；

將所述低維表征作為用于訓練模型的輸入數據，訓練CNN模型。

可選的，所述對數據樣本進行降維處理，得到數據樣本的低維表征，包括：

將數據樣本張量轉換為數據矩陣；

從所述數據矩陣中抽取出行表征矩陣和列表征矩陣；

根據所述行表征矩陣和列表征矩陣，計算得到核心表征矩陣。

可選的，將所述低維表征作為用于訓練模型的輸入數據，訓練CNN模型，包括：

將所述行表征矩陣、列表征矩陣和核心表征矩陣作為用于訓練模型的輸入數據，訓練CNN模型。

可選的，從所述數據矩陣中抽取出行表征矩陣和列表征矩陣，包括：

構造每列只有一個值為1的行采樣矩陣，將所述行采樣矩陣和所述數據矩陣進行計算得到所述行表征矩陣；

構造每列只有一個值為1的列采樣矩陣，將所述列采樣矩陣和所述數據矩陣進行計算得到所述列表征矩陣。

可選的，根據所述行表征矩陣和列表征矩陣，計算得到核心表征矩陣，包括：

選取所述行表征矩陣和所述列表征矩陣的重合部分進行偽逆計算得到所述核心表征矩陣。

可選的，所述方法還包括：

利用所述輸入數據進行前向推理計算。

可選的，所述方法還包括：

利用所述輸入數據進行后向傳播計算。

可選的，所述方法還包括：

利用所述輸入數據更新模型參數。

本發明實施例還提供一種輸入特征逼近的低復雜度CNN訓練裝置，包括：

樣本處理模塊，用于對數據樣本進行降維處理，得到數據樣本的低維表征；

模型訓練模塊，用于將所述低維表征作為用于訓練模型的輸入數據，訓練CNN模型。

本發明實施例還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現所述輸入特征逼近的低復雜度CNN訓練方法。