[發(fā)明專利]一種面向智能制造多模態(tài)數(shù)據(jù)的分類方法

有效

• 申請?zhí)枺?/td>: 202110146422.X
• 申請日: 2021-02-03
• 公開（公告）號: CN112784919B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設(shè)計）人: 黎志豪;余志文;楊楷翔;孟獻兵;陳俊龍
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06F18/2415
• 分類號: G06F18/2415;G06F18/25;G06F18/15;G06N3/0455;G06N3/047;G06N3/048;G06N3/084;G06N3/0985;G06F16/215;G06F16/27;G06F16/28;G06F16/182;G06F16/35;G0
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 馮炳輝

1.一種面向智能制造多模態(tài)數(shù)據(jù)的分類方法，其特征在于，包括以下步驟：

1)收集和清洗生產(chǎn)數(shù)據(jù)日志，獲取多模態(tài)數(shù)據(jù)；

2)對多模態(tài)數(shù)據(jù)按其數(shù)據(jù)組成形式進行劃分，并進行相應(yīng)的預(yù)處理；

3)對預(yù)處理后的多模態(tài)數(shù)據(jù)進行特征提取與特征融合，對融合后的特征進行分類，包括如下步驟：

3.1)對預(yù)處理后的多模態(tài)數(shù)據(jù)集合X＝{x₁,x₂,...,x_m}，輸入一個包含編碼器和解碼器的自編碼器中，經(jīng)過編碼器的重構(gòu)及解碼器的生成，取解碼器的輸出作為特征F₁，其中重構(gòu)損失函數(shù)為：

式中，h表示編碼器；g表示解碼器；λ表示超參數(shù)，其值為用戶設(shè)置；m表示數(shù)據(jù)的個數(shù)；x_k表示第k個數(shù)據(jù)，k取值范圍為1到m；表示數(shù)據(jù)x_k的雅可比矩陣的F范數(shù)；L_AE表示損失函數(shù)；g(h(x_k))表示數(shù)據(jù)x_k依次經(jīng)過編碼器h重構(gòu)及解碼器g生成的結(jié)果；||g(h(x_k))-x_k||₁表示g(h(x_k))與x_k的差值的1范數(shù)；

在損失函數(shù)L_AE達到收斂時，得到特征F₁，即F₁＝g(h(X))，表示預(yù)處理后的多模態(tài)數(shù)據(jù)集合X依次經(jīng)過編碼器h重構(gòu)及解碼器g生成的結(jié)果，實質(zhì)是一個m行L列的矩陣，m表示數(shù)據(jù)的個數(shù)，L表示每個數(shù)據(jù)的維度大?。?/p>

3.2)將步驟3.1)中得到的特征F₁復(fù)制兩份，最終得到三份特征，分別是F₁、F₂、F₃，對F₂和F₃做特征嵌入處理，記為F′₂、F₃′：

F′₂＝W₂·F₂

F₃′＝W₃·F₃

式中，W₂、W₃表示m行L列的參數(shù)矩陣；W₂·F₂表示W(wǎng)₂與F₂做點積；W₃·F₃表示W(wǎng)₃與F₃做點積；F′₂、F₃′表示得到的嵌入特征，兩者都是m行L列的矩陣；

3.3)將嵌入特征F′₂和F₃′做softmax處理后與特征F₁做加權(quán)融合，具體過程為：

式中，F(xiàn)′₃^T表示F₃′的轉(zhuǎn)置，為L行m列的矩陣；表示F₂′與F₃′^T做矩陣乘法后得到m行m列矩陣，對矩陣每一列都除以一個常數(shù)表示對每一行做softmax處理；F表示與F₁做矩陣乘法，得到m行L列的矩陣，即最終的融合特征；

將得到的融合特征F加入T層的全連接前饋深度神經(jīng)網(wǎng)絡(luò)中訓(xùn)練，其公式表達為：

式中，h_t、h_t+1分別表示第t層和第t+1層全連接前饋深度神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果，其中t的取值范圍為1到T-1；W_t¹、W_t²表示第t層全連接前饋深度神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)；分別表示與W_t¹、W_t²對應(yīng)的偏置參數(shù)；f(·)表示Leaky-ReLU函數(shù)，其公式為：

式中，a的取值范圍為0到1；

取全連接前饋深度神經(jīng)網(wǎng)絡(luò)最后一層的輸出結(jié)果h_T、權(quán)重參數(shù)和偏置參數(shù)多模態(tài)數(shù)據(jù)的類別總數(shù)是C；對h_T、做softmax處理，得到每個數(shù)據(jù)的分類結(jié)果：

式中，表示與做矩陣乘法；Z表示m行C列的矩陣，z_i表示Z的第i行，為C維向量，其中i的取值范圍為1到m；exp(z_i)表示對z_i的每個元素都做以e為底的指數(shù)運算，其結(jié)果仍為C維向量；表示z_i的第v維元素；表示對z_i的每個元素都做以e為底的指數(shù)運算并求和，其結(jié)果為一常數(shù)值；表示exp(z_i)中每個元素都除以其結(jié)果為C維向量；p_i表示從中選擇最大的值作為第i個數(shù)據(jù)的分類概率值；

3.4)采用交叉熵?fù)p失函數(shù)以及ADAM算法來對步驟3.3)中的全連接前饋深度神經(jīng)網(wǎng)絡(luò)進行迭代優(yōu)化，在離線學(xué)習(xí)的情況下對網(wǎng)絡(luò)進行預(yù)訓(xùn)練，并采用在線學(xué)習(xí)的機制對預(yù)訓(xùn)練的網(wǎng)絡(luò)進行參數(shù)實時更新，從而對數(shù)據(jù)進行實時分類，其過程如下：

從HDFS中讀取預(yù)設(shè)量的數(shù)據(jù)樣本，經(jīng)過步驟2)得到預(yù)處理的數(shù)據(jù)；將預(yù)處理的數(shù)據(jù)經(jīng)過步驟3.1)、3.2)、3.3)進行預(yù)設(shè)次數(shù)的迭代訓(xùn)練，使用添加了正則項的交叉熵?fù)p失函數(shù)J對全連接前饋深度神經(jīng)網(wǎng)絡(luò)進行求解，其公式表達為：

式中，p_j是第j個數(shù)據(jù)的計算概率值，y_j是真實的類別標(biāo)簽，N是網(wǎng)絡(luò)預(yù)訓(xùn)練的樣本總數(shù)，β是正則化參數(shù)；w_j為第j個數(shù)據(jù)的權(quán)重參數(shù)；上述公式使用ADAM算法進行迭代優(yōu)化；

在預(yù)訓(xùn)練過程達到收斂狀態(tài)時，采取在線學(xué)習(xí)的方式對網(wǎng)絡(luò)進行微調(diào)更新，即從實時樣本中按批次讀取預(yù)設(shè)量的數(shù)據(jù)，進行相應(yīng)的預(yù)處理后，輸入全連接前饋深度神經(jīng)網(wǎng)絡(luò)中進行訓(xùn)練，服務(wù)器實時接收網(wǎng)絡(luò)的參數(shù)更新結(jié)果對網(wǎng)絡(luò)進行更新，并采用最新的網(wǎng)絡(luò)批次的數(shù)據(jù)樣本進行分類識別，得到每個數(shù)據(jù)的分類結(jié)果并進行可視化展示。