[發(fā)明專利]基于交替方向乘子法ADMM的分布式深度學(xué)習(xí)分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010619341.2
• 申請(qǐng)日: 2020-06-30
• 公開（公告）號(hào): CN111832637B
• 公開（公告）日: 2022-08-30
• 發(fā)明（設(shè)計(jì)）人: 胡海峰;潘萬(wàn)順;張進(jìn)
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京蘇科專利代理有限責(zé)任公司 32102
• 代理人: 陳棟智

1.一種基于交替方向乘子法ADMM的分布式深度學(xué)習(xí)分類方法，其特征在于，包括以下步驟：

步驟1：在各個(gè)節(jié)點(diǎn)的數(shù)據(jù)庫(kù)中對(duì)圖像、視頻、文件進(jìn)行分類標(biāo)記；

步驟2：初始化各節(jié)點(diǎn)Alexnet網(wǎng)絡(luò)層參數(shù)，以及拉格朗日乘子矩陣；

步驟3：各個(gè)節(jié)點(diǎn)數(shù)據(jù)通過Alexnet網(wǎng)絡(luò)一次前向傳播進(jìn)行提取特征；

步驟4：引入最小化分類誤差，得到全局最優(yōu)的分類器，利用步驟3提取的特征，引入最小化分類誤差,得到全局最優(yōu)的分類器，分類器參數(shù)進(jìn)行一致性約束相當(dāng)于各節(jié)點(diǎn)數(shù)據(jù)間接的在一個(gè)分類器上訓(xùn)練；具體為：

利用步驟3得到的特征Z_i,m和Z_i,m對(duì)應(yīng)的標(biāo)簽Y_i,m，通過ADMM優(yōu)化各節(jié)點(diǎn)W_i，得到全局最優(yōu)的分類器W，其中，Z_i,m表示第i個(gè)節(jié)點(diǎn)，第m批數(shù)據(jù)X_i,m對(duì)應(yīng)的特征，W_i和b_i是第i個(gè)節(jié)點(diǎn)分類器的參數(shù)，X_i,m是第i個(gè)節(jié)點(diǎn)中第m批次的圖片，Y_i,m是圖片X_i,m對(duì)應(yīng)的label，L是交叉熵?fù)p失函數(shù)，N為節(jié)點(diǎn)總數(shù)，Λ_i拉格朗日乘子，ρ為懲罰系數(shù)，λ為正則化項(xiàng)系數(shù)，第i個(gè)節(jié)點(diǎn)構(gòu)建的優(yōu)化W_i后的目標(biāo)函數(shù)如下：

s.t.W_i-W＝0

增廣的拉格朗日函數(shù)：

ADMM迭代步驟:

其中

步驟5：全局分類器參數(shù)賦值給每個(gè)節(jié)點(diǎn)Alexnet網(wǎng)絡(luò)的最后一層，即全連接層，各個(gè)節(jié)點(diǎn)數(shù)據(jù)通過Alexnet網(wǎng)絡(luò)進(jìn)行再進(jìn)行一次前向傳播；

步驟6：固定分類層參數(shù)，更新特征層參數(shù)；

步驟7：判斷訓(xùn)練精度是否等于1，是即訓(xùn)練完成，反之，重復(fù)步驟3-7；

步驟8：分類測(cè)試過程。

2.根據(jù)權(quán)利要求1所述的一種基于交替方向乘子法ADMM的分布式深度學(xué)習(xí)分類方法，其特征在于，步驟1中，假設(shè)共有N個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)數(shù)據(jù)庫(kù)X_i，X_i表示第i個(gè)節(jié)點(diǎn)的數(shù)據(jù)庫(kù)，在不同節(jié)點(diǎn)中的數(shù)據(jù)庫(kù)是相互獨(dú)立的，并且不同的節(jié)點(diǎn)間不希望共享信息，每個(gè)數(shù)據(jù)庫(kù)中都有c種類別標(biāo)記，對(duì)不同的樣本打上不同的標(biāo)記。

3.根據(jù)權(quán)利要求2所述的一種基于交替方向乘子法ADMM的分布式深度學(xué)習(xí)分類方法，其特征在于，步驟2中，在每個(gè)節(jié)點(diǎn)中初始化Alexnet網(wǎng)絡(luò)層參數(shù)和對(duì)應(yīng)的拉格朗日乘子，每個(gè)節(jié)點(diǎn)調(diào)用Alexnet預(yù)訓(xùn)練模型來(lái)初始化Alexnet網(wǎng)絡(luò)層參數(shù)；設(shè)第i個(gè)節(jié)點(diǎn)Alexnet最后一全連接層的參數(shù)為W_i和b_i，第i個(gè)節(jié)點(diǎn)優(yōu)化W時(shí)對(duì)應(yīng)的初始化拉格朗日乘子為d×c維的全0矩陣，d表示樣本特征空間的維度，c表示類別數(shù)目。

4.根據(jù)權(quán)利要求3所述的一種基于交替方向乘子法ADMM的分布式深度學(xué)習(xí)分類方法，其特征在于，步驟3中，利用各個(gè)節(jié)點(diǎn)數(shù)據(jù)通過Alexnet網(wǎng)絡(luò)一次前向傳播進(jìn)行提取特征，每個(gè)epoch分為多個(gè)批次的訓(xùn)練，各節(jié)點(diǎn)在各自第m個(gè)批次的數(shù)據(jù)X_i,m下，利用前一批次更新的網(wǎng)絡(luò)參數(shù)，進(jìn)行一次前向傳播，其特征層輸出特征Z_i,m，即為Alexnet最后一層全連接層的輸入值，其中，X_i,m是第i個(gè)節(jié)點(diǎn)中第m批次的圖片，Z_i,m表示第i個(gè)節(jié)點(diǎn)，第m批數(shù)據(jù)對(duì)應(yīng)的特征。

5.根據(jù)權(quán)利要求4所述的一種基于交替方向乘子法ADMM的分布式深度學(xué)習(xí)分類方法，其特征在于，步驟5中，將上一步優(yōu)化得到的分類器參數(shù)，即公式3的值W_i和b_i，賦值給每個(gè)節(jié)點(diǎn)Alexnet網(wǎng)絡(luò)的最后一層，各個(gè)節(jié)點(diǎn)獨(dú)立利用各自當(dāng)前批次的圖片通過該網(wǎng)絡(luò)進(jìn)行再進(jìn)行一次前向傳播。