[發(fā)明專利]數(shù)據(jù)訓(xùn)練方法、裝置及系統(tǒng)、計(jì)算機(jī)設(shè)備

有效

• 申請?zhí)枺?/td>: 201711377963.3
• 申請日: 2017-12-19
• 公開（公告）號(hào): CN109948632B
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 鄭星
• 申請（專利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N20/00
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 江崇玉

本發(fā)明公開了一種數(shù)據(jù)訓(xùn)練方法、裝置及系統(tǒng)、計(jì)算機(jī)設(shè)備，屬于人工智能領(lǐng)域。所述方法包括：與其他訓(xùn)練主機(jī)獲取同一偽隨機(jī)數(shù)種子，其他訓(xùn)練主機(jī)為多個(gè)訓(xùn)練主機(jī)中除第一訓(xùn)練主機(jī)以外的訓(xùn)練主機(jī)；執(zhí)行至少一次訓(xùn)練過程，直至訓(xùn)練過程的執(zhí)行結(jié)果滿足預(yù)設(shè)停止條件，訓(xùn)練過程包括：基于偽隨機(jī)數(shù)種子，對(duì)文件名集合進(jìn)行隨機(jī)化處理，得到更新后的文件名集合，基于更新后的文件名集合，對(duì)訓(xùn)練數(shù)據(jù)集中的第一數(shù)據(jù)子集進(jìn)行訓(xùn)練，直至多個(gè)訓(xùn)練主機(jī)完成本次對(duì)訓(xùn)練數(shù)據(jù)集的訓(xùn)練后，再次執(zhí)行訓(xùn)練過程，第一數(shù)據(jù)子集包括第一訓(xùn)練主機(jī)對(duì)應(yīng)的數(shù)據(jù)。本發(fā)明解決了相關(guān)技術(shù)中數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)開銷較大，數(shù)據(jù)訓(xùn)練系統(tǒng)穩(wěn)定性較差的問題。本發(fā)明用于數(shù)據(jù)訓(xùn)練。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能領(lǐng)域，特別涉及一種數(shù)據(jù)訓(xùn)練方法、裝置及系統(tǒng)、計(jì)算機(jī)設(shè)備。

背景技術(shù)

深度學(xué)習(xí)是一種比較有效的人工智能方法，深度學(xué)習(xí)可以通過模擬人腦的學(xué)習(xí)行為從數(shù)據(jù)中學(xué)習(xí)相關(guān)知識(shí)，并將學(xué)習(xí)到的知識(shí)用于后續(xù)的預(yù)測。目前，在大規(guī)模的深度學(xué)習(xí)訓(xùn)練中，由于訓(xùn)練數(shù)據(jù)集的數(shù)據(jù)量較大，為了提高數(shù)據(jù)訓(xùn)練的效率，通常采用多臺(tái)訓(xùn)練主機(jī)同時(shí)對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練。

相關(guān)技術(shù)中，在數(shù)據(jù)訓(xùn)練的初始化過程中，每臺(tái)訓(xùn)練主機(jī)可以獲取并存儲(chǔ)同一訓(xùn)練數(shù)據(jù)集(即每臺(tái)訓(xùn)練主機(jī)中存儲(chǔ)的訓(xùn)練數(shù)據(jù)集均相同)，并由指定的訓(xùn)練主機(jī)A基于訓(xùn)練數(shù)據(jù)集生成文件名列表，該文件名列表中包括訓(xùn)練數(shù)據(jù)集中所有數(shù)據(jù)的名稱。在數(shù)據(jù)訓(xùn)練過程中，訓(xùn)練主機(jī)A對(duì)文件名列表進(jìn)行隨機(jī)洗牌處理，并將隨機(jī)洗牌處理后的文件名列表發(fā)送至所有其他訓(xùn)練主機(jī)，每個(gè)訓(xùn)練主機(jī)基于文件名列表中固定位置的數(shù)據(jù)名稱從已存儲(chǔ)的訓(xùn)練數(shù)據(jù)集中獲取相應(yīng)的數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練。

例如，假設(shè)數(shù)據(jù)訓(xùn)練系統(tǒng)中包括三臺(tái)訓(xùn)練主機(jī)，分別為訓(xùn)練主機(jī)A、訓(xùn)練主機(jī)B和訓(xùn)練主機(jī)C，文件名列表中包含900個(gè)數(shù)據(jù)名稱，在數(shù)據(jù)訓(xùn)練過程中，訓(xùn)練主機(jī)A用于訓(xùn)練文件名列表中1～300的數(shù)據(jù)名稱對(duì)應(yīng)的數(shù)據(jù)，訓(xùn)練主機(jī)B用于訓(xùn)練文件名列表中301～600的數(shù)據(jù)名稱對(duì)應(yīng)的數(shù)據(jù)，訓(xùn)練主機(jī)C用于訓(xùn)練文件名列表中601～900的數(shù)據(jù)名稱對(duì)應(yīng)的數(shù)據(jù)。在所有訓(xùn)練主機(jī)訓(xùn)練完成后，訓(xùn)練主機(jī)A再次對(duì)文件名列表進(jìn)行隨機(jī)洗牌處理，并重復(fù)上述過程，直至對(duì)訓(xùn)練數(shù)據(jù)集的訓(xùn)練次數(shù)達(dá)到預(yù)設(shè)次數(shù)閾值。

但是，采用相關(guān)技術(shù)中的數(shù)據(jù)訓(xùn)練方法，訓(xùn)練主機(jī)A每次對(duì)文件名列表進(jìn)行隨機(jī)洗牌處理后，都要將文件名列表發(fā)送至所有其他訓(xùn)練主機(jī)，由于文件名列表的數(shù)據(jù)量較大，因此數(shù)據(jù)訓(xùn)練過程中所占用的帶寬較大，數(shù)據(jù)訓(xùn)練的網(wǎng)絡(luò)開銷較大，數(shù)據(jù)訓(xùn)練系統(tǒng)的穩(wěn)定性較差。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)訓(xùn)練方法、裝置及系統(tǒng)、計(jì)算機(jī)設(shè)備，可以解決相關(guān)技術(shù)中數(shù)據(jù)訓(xùn)練的網(wǎng)絡(luò)開銷較大，數(shù)據(jù)訓(xùn)練系統(tǒng)的穩(wěn)定性較差的問題。所述技術(shù)方案如下：

第一方面，提供了一種數(shù)據(jù)訓(xùn)練方法，用于數(shù)據(jù)訓(xùn)練系統(tǒng)中的第一訓(xùn)練主機(jī)，所述數(shù)據(jù)訓(xùn)練系統(tǒng)中包括多個(gè)訓(xùn)練主機(jī)，所述第一訓(xùn)練主機(jī)為所述多個(gè)訓(xùn)練主機(jī)中的一個(gè)，每個(gè)所述訓(xùn)練主機(jī)中存儲(chǔ)有相同的訓(xùn)練數(shù)據(jù)集以及包括所述訓(xùn)練數(shù)據(jù)集中所有數(shù)據(jù)的名稱的相同的文件名集合，所述方法包括：

與其他訓(xùn)練主機(jī)獲取同一偽隨機(jī)數(shù)種子，所述其他訓(xùn)練主機(jī)為所述多個(gè)訓(xùn)練主機(jī)中除所述第一訓(xùn)練主機(jī)以外的訓(xùn)練主機(jī)；

執(zhí)行至少一次訓(xùn)練過程，直至所述訓(xùn)練過程的執(zhí)行結(jié)果滿足預(yù)設(shè)停止條件，所述訓(xùn)練過程包括：

基于所述偽隨機(jī)數(shù)種子，對(duì)所述文件名集合進(jìn)行隨機(jī)化處理，得到更新后的文件名集合，

基于所述更新后的文件名集合，對(duì)所述訓(xùn)練數(shù)據(jù)集中的第一數(shù)據(jù)子集進(jìn)行訓(xùn)練，直至所述多個(gè)訓(xùn)練主機(jī)完成本次對(duì)所述訓(xùn)練數(shù)據(jù)集的訓(xùn)練后，再次執(zhí)行所述訓(xùn)練過程，所述第一數(shù)據(jù)子集包括所述第一訓(xùn)練主機(jī)對(duì)應(yīng)的數(shù)據(jù)；

其中，所述數(shù)據(jù)訓(xùn)練系統(tǒng)中的所有訓(xùn)練主機(jī)在執(zhí)行同一次訓(xùn)練過程時(shí)，所得到的更新后的文件名集合均相同。

可選地，所述第一訓(xùn)練主機(jī)為管理訓(xùn)練主機(jī)，所述與其他訓(xùn)練主機(jī)獲取同一偽隨機(jī)數(shù)種子，包括：

生成某一偽隨機(jī)數(shù)種子；