[發(fā)明專(zhuān)利]基于分布式集群的數(shù)據(jù)處理方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202310288285.2
• 申請(qǐng)日: 2023-03-23
• 公開(kāi)（公告）號(hào): CN116070720B
• 公開(kāi)（公告）日: 2023-07-21
• 發(fā)明（設(shè)計(jì)）人: 李仁剛;邱志勇;郭振華;趙雅倩
• 申請(qǐng)（專(zhuān)利權(quán)）人: 山東海量信息技術(shù)研究院
• 主分類(lèi)號(hào): G06N20/00
• 分類(lèi)號(hào): G06N20/00;G06F17/16;G06F17/18;G06N3/08
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 魯麗美

本申請(qǐng)公開(kāi)了一種基于分布式集群的數(shù)據(jù)處理方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)，應(yīng)用于機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，應(yīng)用于分布式集群中的每一個(gè)終端設(shè)備中，包括：獲取1個(gè)批次的訓(xùn)練樣本并進(jìn)行本地深度學(xué)習(xí)模型的訓(xùn)練，確定出每一層的輸入數(shù)據(jù)及梯度數(shù)據(jù)；進(jìn)行梯度數(shù)據(jù)的同步；基于本地深度學(xué)習(xí)模型中的每一層的輸入數(shù)據(jù)，以及梯度數(shù)據(jù)同步之后的每一層的梯度數(shù)據(jù)，確定出海森矩陣的逆矩陣；通過(guò)基于海森矩陣的二階優(yōu)化算法，進(jìn)行本地深度學(xué)習(xí)模型的參數(shù)更新，并返回訓(xùn)練直至模型訓(xùn)練結(jié)束；將待識(shí)別數(shù)據(jù)輸入至訓(xùn)練完成的本地深度學(xué)習(xí)模型，并得到待識(shí)別數(shù)據(jù)的識(shí)別結(jié)果。應(yīng)用本申請(qǐng)的方案，提高了深度學(xué)習(xí)模型的分布式訓(xùn)練收斂速度，也有利于降低訓(xùn)練時(shí)耗時(shí)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及一種基于分布式集群的數(shù)據(jù)處理方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

目前，人工智能正與5G、云計(jì)算、邊緣計(jì)算等新一代信息技術(shù)互為支撐，推動(dòng)生產(chǎn)生活方式和社會(huì)治理方式的智能化變革，而伴隨而來(lái)的是人工智能落地場(chǎng)景日趨復(fù)雜化，融合云邊端設(shè)備的跨域分布式人工智能占比越來(lái)越高。

深度學(xué)習(xí)模型的應(yīng)用極為廣泛，例如手機(jī)中的植物物種識(shí)別，語(yǔ)音識(shí)別并轉(zhuǎn)換為文字等。部署在終端設(shè)備中的深度學(xué)習(xí)模型初期訓(xùn)練所需算力較為龐大，單個(gè)終端設(shè)備計(jì)算能力不足，并且單個(gè)終端設(shè)備所擁有的訓(xùn)練數(shù)據(jù)不足，因此，最常見(jiàn)的一種解決方案是聯(lián)合邊緣域內(nèi)所有的終端設(shè)備實(shí)現(xiàn)分布式訓(xùn)練，共同更新模型參數(shù)，最終完成深度學(xué)習(xí)模型訓(xùn)練。

傳統(tǒng)的跨域分布式優(yōu)化算法，通常采用的是SGD（Stochastic?Gradient?Descent，隨機(jī)梯度下降）算法，是一種簡(jiǎn)單但非常有效的方法，但是該算法收斂速度較慢。

綜上所述，如何進(jìn)行深度學(xué)習(xí)模型的分布式訓(xùn)練，提高收斂速度，是目前本領(lǐng)域技術(shù)人員急需解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于分布式集群的數(shù)據(jù)處理方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)，以進(jìn)行深度學(xué)習(xí)模型的分布式訓(xùn)練，提高收斂速度。

為解決上述技術(shù)問(wèn)題，本發(fā)明提供如下技術(shù)方案：

一種基于分布式集群的數(shù)據(jù)處理方法，應(yīng)用于分布式集群中的每一個(gè)終端設(shè)備中，包括：

獲取1個(gè)批次的訓(xùn)練樣本并進(jìn)行本地深度學(xué)習(xí)模型的訓(xùn)練，確定出本地深度學(xué)習(xí)模型中的每一層的輸入數(shù)據(jù)以及每一層的梯度數(shù)據(jù)；

將自身確定出的每一層的梯度數(shù)據(jù)廣播至其余各個(gè)終端設(shè)備，并接收其余各個(gè)終端設(shè)備所廣播的數(shù)據(jù)，通過(guò)進(jìn)行梯度數(shù)據(jù)的同步，確定出進(jìn)行了梯度數(shù)據(jù)同步之后的每一層的梯度數(shù)據(jù)；

基于本地深度學(xué)習(xí)模型中的每一層的輸入數(shù)據(jù)，以及梯度數(shù)據(jù)同步之后的每一層的梯度數(shù)據(jù)，確定出當(dāng)前訓(xùn)練批次所使用的海森矩陣的逆矩陣；

基于確定出的所述海森矩陣的逆矩陣，通過(guò)基于海森矩陣的二階優(yōu)化算法，進(jìn)行本地深度學(xué)習(xí)模型的參數(shù)更新，并返回執(zhí)行所述獲取1個(gè)批次的訓(xùn)練樣本并進(jìn)行本地深度學(xué)習(xí)模型的訓(xùn)練的操作，直至模型訓(xùn)練結(jié)束；

將待識(shí)別數(shù)據(jù)輸入至訓(xùn)練完成的所述本地深度學(xué)習(xí)模型，并得到所述待識(shí)別數(shù)據(jù)的識(shí)別結(jié)果。

優(yōu)選的，所述基于本地深度學(xué)習(xí)模型中的每一層的輸入數(shù)據(jù)，以及梯度數(shù)據(jù)同步之后的每一層的梯度數(shù)據(jù)，確定出當(dāng)前訓(xùn)練批次所使用的海森矩陣的逆矩陣，包括：

基于確定出當(dāng)前訓(xùn)練批次所使用的海森矩陣的逆矩陣；