[發(fā)明專利]基于用于深度神經(jīng)網(wǎng)絡(luò)的增強(qiáng)學(xué)習(xí)的張量分解中的排序選擇

在審

• 申請?zhí)枺?/td>: 201980061133.0
• 申請日: 2019-11-26
• 公開（公告）號: CN113179660A
• 公開（公告）日: 2021-07-27
• 發(fā)明（設(shè)計(jì)）人: 程治宇;李寶普;范彥文;包英澤
• 申請（專利權(quán)）人: 百度時(shí)代網(wǎng)絡(luò)技術(shù)（北京）有限公司;百度（美國）有限責(zé)任公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;王艷春

1.一種用于選擇排序以分解預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)(DNN)的一個(gè)或多個(gè)層的權(quán)重張量的計(jì)算機(jī)實(shí)現(xiàn)的方法，所述方法包括：

將與所述預(yù)訓(xùn)練的DNN的一個(gè)或多個(gè)層相關(guān)的元素嵌入到狀態(tài)空間中；

對于要分解其權(quán)重張量的所述預(yù)訓(xùn)練的DNN的每一層，初始化具有預(yù)置值的動(dòng)作；

迭代一組步驟，直到達(dá)到停止條件，所述一組步驟包括：

對于要分解其權(quán)重張量的所述預(yù)訓(xùn)練的DNN的每一層，使代理使用嵌入元素的至少部分和來自先前迭代的獎(jiǎng)勵(lì)值，如果可用，以確定與所述層的排序相關(guān)的動(dòng)作值；

響應(yīng)于要分解其權(quán)重張量的所述預(yù)訓(xùn)練的DNN的每一層具有動(dòng)作值：

對于要分解其權(quán)重張量的所述預(yù)訓(xùn)練的DNN的每一層，根據(jù)從其動(dòng)作值確定的其排序來分解其權(quán)重張量；以及

使用具有分解后的權(quán)重張量的所述預(yù)訓(xùn)練的DNN對目標(biāo)數(shù)據(jù)集執(zhí)行推理，以獲得獎(jiǎng)勵(lì)度量，所述獎(jiǎng)勵(lì)度量基于推理精度和由于分解后的權(quán)重張量而導(dǎo)致的模型壓縮；以及

響應(yīng)于已達(dá)到的停止條件，輸出所述預(yù)訓(xùn)練的DNN的每一層的排序，所述預(yù)訓(xùn)練的DNN的每一層的權(quán)重張量已對應(yīng)于最佳獎(jiǎng)勵(lì)度量進(jìn)行分解。

2.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中，與所述預(yù)訓(xùn)練的DNN相關(guān)的所述元素，對于要分解其權(quán)重張量的每一層，至少包括：

層索引；

其權(quán)重張量的維度；

步幅大小；

內(nèi)核大小；

參數(shù)大小；以及

與先前層相關(guān)聯(lián)的動(dòng)作。

3.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中，所述動(dòng)作值是來自連續(xù)動(dòng)作空間的連續(xù)值，以及所述方法還包括：

將所述動(dòng)作值的連續(xù)值轉(zhuǎn)換為整數(shù)的排序。

4.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中，使用張量環(huán)分解來分解層的所述權(quán)重張量。

5.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中，將與所述預(yù)訓(xùn)練的DNN的一個(gè)或多個(gè)層有關(guān)的元素嵌入到狀態(tài)空間中的步驟包括：

將所述元素規(guī)格化到0至1的范圍內(nèi)。

6.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中，輸出所述預(yù)訓(xùn)練的DNN的每一層的排序，所述預(yù)訓(xùn)練的DNN的每一層的權(quán)重張量已對應(yīng)于最佳獎(jiǎng)勵(lì)度量進(jìn)行分解的步驟包括：

輸出具有分解后的權(quán)重張量的所述預(yù)訓(xùn)練的DNN。

7.根據(jù)權(quán)利要求6所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，還包括以下步驟：

使用訓(xùn)練數(shù)據(jù)集，對具有分解后的權(quán)重張量的所述預(yù)訓(xùn)練的DNN進(jìn)行補(bǔ)充訓(xùn)練。

8.一種包括一個(gè)或多個(gè)指令序列的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)或媒質(zhì)，所述一個(gè)或多個(gè)指令序列在由至少一個(gè)處理器執(zhí)行時(shí)，所述執(zhí)行用于選擇排序以分解預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)(DNN)的一個(gè)或多個(gè)層的權(quán)重張量的步驟，所述步驟包括：

將與所述預(yù)訓(xùn)練的DNN的一個(gè)或多個(gè)層相關(guān)的元素嵌入到狀態(tài)空間中；

對于要分解其權(quán)重張量的所述預(yù)訓(xùn)練的DNN的每一層，初始化具有預(yù)置值的動(dòng)作；

迭代一組步驟，直到達(dá)到停止條件，所述一組步驟包括：

對于要分解其權(quán)重張量的所述預(yù)訓(xùn)練的DNN的每一層，使代理使用嵌入元素的至少部分和來自先前迭代的獎(jiǎng)勵(lì)值，如果可用，以確定與所述層的排序相關(guān)的動(dòng)作值；

響應(yīng)于要分解其權(quán)重張量的所述預(yù)訓(xùn)練的DNN的每一層具有動(dòng)作值：

對于要分解其權(quán)重張量的所述預(yù)訓(xùn)練的DNN的每一層，根據(jù)從其動(dòng)作值確定的其排序來分解其權(quán)重張量；以及

使用具有分解后的權(quán)重張量的所述預(yù)訓(xùn)練的DNN對目標(biāo)數(shù)據(jù)集執(zhí)行推理，以獲得獎(jiǎng)勵(lì)度量，所述獎(jiǎng)勵(lì)度量基于推理精度和由于分解后的權(quán)重張量而導(dǎo)致的模型壓縮；以及

響應(yīng)于已達(dá)到的停止條件，輸出所述預(yù)訓(xùn)練的DNN的每一層的排序，所述預(yù)訓(xùn)練的DNN的每一層的權(quán)重張量已對應(yīng)于最佳獎(jiǎng)勵(lì)度量進(jìn)行分解。