[發明專利]基于分布式集群的數據處理方法、系統、設備及存儲介質

有效

• 申請號: 202310288285.2
• 申請日: 2023-03-23
• 公開（公告）號: CN116070720B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 李仁剛;邱志勇;郭振華;趙雅倩
• 申請（專利權）人: 山東海量信息技術研究院
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F17/16;G06F17/18;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 魯麗美

1.一種基于分布式集群的數據處理方法，其特征在于，應用于分布式集群中的每一個終端設備中，包括：

獲取1個批次的訓練樣本并進行本地深度學習模型的訓練，確定出本地深度學習模型中的每一層的輸入數據以及每一層的梯度數據；

將自身確定出的每一層的梯度數據廣播至其余各個終端設備，并接收其余各個終端設備所廣播的數據，通過進行梯度數據的同步，確定出進行了梯度數據同步之后的每一層的梯度數據；

基于本地深度學習模型中的每一層的輸入數據，以及梯度數據同步之后的每一層的梯度數據，確定出當前訓練批次所使用的海森矩陣的逆矩陣；

基于確定出的所述海森矩陣的逆矩陣，通過基于海森矩陣的二階優化算法，進行本地深度學習模型的參數更新，并返回執行所述獲取1個批次的訓練樣本并進行本地深度學習模型的訓練的操作，直至模型訓練結束；

將待識別數據輸入至訓練完成的所述本地深度學習模型，并得到所述待識別數據的識別結果；

所述基于本地深度學習模型中的每一層的輸入數據，以及梯度數據同步之后的每一層的梯度數據，確定出當前訓練批次所使用的海森矩陣的逆矩陣，包括：

基于確定出當前訓練批次所使用的海森矩陣的逆矩陣；

其中，F為當前訓練批次所使用的海森矩陣，diag表示海森矩陣F是由第1矩陣F₁至第n矩陣F_n所構成的對角矩陣，1≤i≤n，第1矩陣F₁至第n矩陣F_n依次對應本地深度學習模型的第1至第n層，n為本地深度學習模型的總層數，a_i-1為本地深度學習模型第i層的輸入數據，T表示矩陣的轉置，g_i為梯度數據同步之后的第i層的梯度數據，為克羅內克積，F_i為構成海森矩陣F的第i矩陣，F_i^-1為F_i的逆矩陣；

在計算時，通過矩陣特征值分解的方式進行計算。

2.根據權利要求1所述的基于分布式集群的數據處理方法，其特征在于，所述基于確定出的所述海森矩陣的逆矩陣，通過基于海森矩陣的二階優化算法，進行本地深度學習模型的參數更新，包括：

基于x_t+1=x_t-ηt(F)^-1▽L進行本地深度學習模型的參數更新；

其中，x_t為進行第t次訓練之后的本地深度學習模型的參數，x_t+1為進行第t+1次訓練之后的本地深度學習模型的參數，η為學習率，λ為設定參數，L表示損失函數，▽表示計算損失函數L的梯度。