[發(fā)明專(zhuān)利]學(xué)習(xí)方法和信息處理設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110356122.4
• 申請(qǐng)日: 2021-04-01
• 公開(kāi)（公告）號(hào): CN113822411A
• 公開(kāi)（公告）日: 2021-12-21
• 發(fā)明（設(shè)計(jì)）人: 原靖;笠置明彥;檀上匠;甲斐雄高
• 申請(qǐng)（專(zhuān)利權(quán)）人: 富士通株式會(huì)社
• 主分類(lèi)號(hào): G06N3/04
• 分類(lèi)號(hào): G06N3/04;G06N3/08
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王萍;崔俊紅

1.一種非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序使得計(jì)算機(jī)執(zhí)行包括以下的處理：

開(kāi)始用于生成包括多個(gè)層的模型的學(xué)習(xí)處理，每個(gè)層包括參數(shù)，所述學(xué)習(xí)處理通過(guò)使用訓(xùn)練數(shù)據(jù)來(lái)重復(fù)地計(jì)算所述模型的輸出的誤差，針對(duì)所述多個(gè)層中的每個(gè)層計(jì)算指示關(guān)于所述參數(shù)的誤差的梯度的誤差梯度，并且基于所述誤差梯度更新所述參數(shù)；

針對(duì)所述多個(gè)層中的第一層，計(jì)算在所述學(xué)習(xí)處理中的第一迭代中計(jì)算的第一誤差梯度與在所述第一迭代之后的第二迭代中計(jì)算的第二誤差梯度之間的差；以及

在所述差小于閾值的情況下，在所述第二迭代之后的第三迭代中，跳過(guò)所述第一層的誤差梯度的計(jì)算和所述參數(shù)的更新。

2.根據(jù)權(quán)利要求1所述的非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)，其中，所述計(jì)算機(jī)程序還使得所述計(jì)算機(jī)執(zhí)行基于初始誤差梯度來(lái)確定所述閾值的處理，所述初始誤差梯度指示在響應(yīng)于所述學(xué)習(xí)處理的開(kāi)始而執(zhí)行的迭代中計(jì)算的誤差梯度。

3.根據(jù)權(quán)利要求2所述的非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)，

其中，所述計(jì)算機(jī)程序還使得所述計(jì)算機(jī)執(zhí)行以下處理：設(shè)置用于更新所述參數(shù)的學(xué)習(xí)率，并且基于所述學(xué)習(xí)處理已經(jīng)執(zhí)行的迭代的數(shù)量來(lái)改變所述學(xué)習(xí)率，以及

其中，所述閾值的確定包括基于不同的初始誤差梯度來(lái)改變所述閾值，所述不同的初始誤差梯度指示在響應(yīng)于所述學(xué)習(xí)率的改變而執(zhí)行的迭代中計(jì)算的誤差梯度。

4.根據(jù)權(quán)利要求1所述的非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)，其中，在所述學(xué)習(xí)處理中的每次迭代中，所述計(jì)算機(jī)程序還使得所述計(jì)算機(jī)執(zhí)行以下處理：通過(guò)使用多個(gè)處理節(jié)點(diǎn)來(lái)根據(jù)不同的訓(xùn)練數(shù)據(jù)計(jì)算不同的誤差，通過(guò)使用所述多個(gè)處理節(jié)點(diǎn)來(lái)根據(jù)所述不同的誤差計(jì)算不同的誤差梯度，通過(guò)允許所述多個(gè)處理節(jié)點(diǎn)彼此通信來(lái)對(duì)所述不同的誤差梯度進(jìn)行合成，以及基于所合成的誤差梯度更新所述參數(shù)，以及

其中，所述跳過(guò)包括：針對(duì)所述第一層，跳過(guò)所述不同的誤差梯度的計(jì)算、所述多個(gè)處理節(jié)點(diǎn)之間的通信以及所述參數(shù)的更新。

5.根據(jù)權(quán)利要求1所述的非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)，其中，所述模型是多層神經(jīng)網(wǎng)絡(luò)。

6.根據(jù)權(quán)利要求1所述的非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)，其中，所述第二迭代(m)緊接在所述第一迭代之后，以及所述第三迭代緊接在所述第二迭代之后。

7.根據(jù)權(quán)利要求1所述的非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)，

其中，所述差的計(jì)算包括針對(duì)所述多個(gè)層中的每個(gè)層計(jì)算所述差，以及

其中，所述跳過(guò)包括：在所述多個(gè)層中確定所述差小于所述閾值的層，以及針對(duì)所確定的層，跳過(guò)所述誤差梯度的計(jì)算和所述參數(shù)的更新。

8.一種由計(jì)算機(jī)執(zhí)行的學(xué)習(xí)方法，所述學(xué)習(xí)方法包括：

開(kāi)始用于生成包括多個(gè)層的模型的學(xué)習(xí)處理，每個(gè)層包括參數(shù)，所述學(xué)習(xí)處理包括：通過(guò)使用訓(xùn)練數(shù)據(jù)來(lái)重復(fù)地計(jì)算所述模型的輸出的誤差，針對(duì)所述多個(gè)層中的每個(gè)層計(jì)算指示關(guān)于所述參數(shù)的誤差的梯度的誤差梯度，并且基于所述誤差梯度更新所述參數(shù)；

針對(duì)所述多個(gè)層中的第一層，計(jì)算在所述學(xué)習(xí)處理中的第一迭代中計(jì)算的第一誤差梯度與在所述第一迭代之后的第二迭代中計(jì)算的第二誤差梯度之間的差；以及

在所述差小于閾值的情況下，在所述第二迭代之后的第三迭代中，跳過(guò)所述第一層的誤差梯度的計(jì)算和所述參數(shù)的更新。

9.一種信息處理設(shè)備，包括：

存儲(chǔ)裝置，其用于存儲(chǔ)包括多個(gè)層的模型和訓(xùn)練數(shù)據(jù)，每個(gè)層包括參數(shù)；以及

用于開(kāi)始學(xué)習(xí)處理的處理裝置，所述學(xué)習(xí)處理通過(guò)使用所述訓(xùn)練數(shù)據(jù)來(lái)重復(fù)地計(jì)算所述模型的輸出的誤差，針對(duì)所處多個(gè)層中的每個(gè)層計(jì)算指示關(guān)于所述參數(shù)的誤差的梯度的誤差梯度，并且基于所述誤差梯度更新所述參數(shù)，針對(duì)所述多個(gè)層中的第一層，計(jì)算在所述學(xué)習(xí)處理中的第一迭代中計(jì)算的第一誤差梯度與在所述第一次迭代之后的第二次迭代中計(jì)算的第二誤差梯度之間的差，以及在所述差小于閾值的情況下，在所述第二迭代之后的第三迭代中跳過(guò)針對(duì)所述第一層的所述誤差梯度的計(jì)算和所述參數(shù)的更新。