[發明專利]基于交替方向乘子法ADMM的分布式深度學習分類方法

有效

• 申請號: 202010619341.2
• 申請日: 2020-06-30
• 公開（公告）號: CN111832637B
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 胡海峰;潘萬順;張進
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京蘇科專利代理有限責任公司 32102
• 代理人: 陳棟智

本發明提出了一種基于交替方向乘子法ADMM的分布式深度學習分類方法，包括以下：1：在各個節點的數據庫中對圖像、視頻、文件進行分類標記；2：初始化各節點Alexnet網絡層參數，以及拉格朗日乘子矩陣；3：各個節點數據通過Alexnet網絡一次前向傳播進行提取特征；4：引入最小化分類誤差，得到全局最優的分類器；5：全局分類器參數賦值給每個節點Alexnet網絡的最后一層，即全連接層，各個節點數據通過Alexnet網絡進行再進行一次前向傳播；6：固定分類層參數，更新特征層參數；7：判斷訓練精度是否等于1，是即訓練完成，反之，重復3?7；8：分類測試過程，本發明解決了圖像，視頻，文本等樣本數目大，若集中在一起訓練，傳輸量和計算量過大的問題。

技術領域

本發明涉及一種深度學習方法，具體的說是一種分布式深度學習分類方法，屬于機器學習技術領域。

背景技術

隨著社交網絡、電子商務、移動互聯網等的不斷發展，數據需要存儲、處理的規模越來越大，單機系統已無法滿足日益增長的需求。Google、Alibaba等互聯網公司成功催生了云計算和大數據這兩大熱門領域，云計算和大數據都是構建在分布式存儲之上的應用。云存儲的核心是后端的大規模分布式存儲系統，大數據不僅需要存儲海量的數據，還要通過合適的框架和工具對這些數據進行分析，得到其中有用的部分，如果沒有分布式的存儲就談不上對大數據進行分析。雖然分布式系統的研究已經進行了很多年，但直到近些年，互聯網大數據的興起才使得分布式系統大規模地應用在工程實踐中。分布式系統是利用多臺計算機協同解決單臺計算機所不能解決的計算、存儲問題，分布式系統與單機系統最大的區別就在于問題的規模。它是由多個節點組成的系統，往往將一臺服務器或者服務器上的一個進程稱為一個節點，這些節點一般不是孤立的，而是通過網絡來互相通信，傳遞信息。另外，由于智能手機等移動終端的快速發展，智能手機存儲了大量的圖片、文本和視頻等信息，智能手機也可以看作是一個獨立的節點，智能手機之間通過基站或者相互之間通過分布式協作來提高數據處理能力。

深度學習的概念源于人工神經網絡的研究，典型的深度學習模型就是很深層的神經網絡，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預測更容易。與人工規則構造特征的方法相比，利用大數據來學習特征，更能夠刻畫數據豐富的內在信息。深度學習通過設計建立適量的神經元計算節點和多層運算層次結構，選擇合適的輸人層和輸出層，通過網絡的學習和調優，建立起從輸入到輸出的函數關系。

隨著互聯網的廣泛普及和多媒體技術的發展，各行各業的數據急劇增加，現代信息技術基礎設施不得不處理龐大的數據庫，對數據進行分類。由于受限于地理位置、隱私和數據的規模很大，我們不可能將所有的數據集中傳輸到一臺服務器進行集中處理，因為這樣不利于計算、存儲和隱私的保護，同時傳輸數據的時間成本，通信成本等各種成本開銷太大。由于任何一個大規模機器學習的任務都會用到“分而治之”的思想，即把大的機器學習任務拆分成多個子任務(大規模機器學習之間的差異主要在于拆分手段的不同)。因此，分布式的算法就有了應用價值。

綜上所述，現有技術中對于如何利用深度學習算法實現分布式分類問題尚沒有公開的披露。

發明內容

本發明的目的是提供一種基于交替方向乘子法ADMM的分布式深度學習分類方法，解決圖像，視頻，文本等樣本數目大，若集中在一起訓練，傳輸量和計算量過大的問題，通過分布式訓練，以ADMM方法得到全局優化的分類器以及在全局分類器基礎上，利用BP算法得到與全局分類器相適應的特征層，同時保護分布式訓練中各節點的數據獨立性，并實現樣本的分類。

本發明的目的是這樣實現的：一種基于交替方向乘子法ADMM的分布式深度學習分類方法，包括以下步驟：

步驟1：在各個節點的數據庫中對圖像、視頻、文件進行分類標記；

步驟2：初始化各節點Alexnet網絡層參數，以及拉格朗日乘子矩陣；

步驟3：各個節點數據通過Alexnet網絡一次前向傳播進行提取特征；