[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)模型的處理方法和裝置、數(shù)據(jù)處理方法和裝置

在審

• 申請?zhí)枺?/td>: 202010147728.2
• 申請日: 2020-03-05
• 公開（公告）號: CN113361698A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計）人: 涂小兵;薛盛可;魯路;張偉豐
• 申請（專利權(quán)）人: 阿里巴巴集團控股有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08;G06N3/04
• 代理公司: 北京博浩百睿知識產(chǎn)權(quán)代理有限責(zé)任公司 11134
• 代理人: 謝湘寧;張文華

1.一種神經(jīng)網(wǎng)絡(luò)模型的處理方法，包括：

利用奇異值分解算法和范數(shù)正則化算法對神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練，得到預(yù)訓(xùn)練模型；

獲取所述預(yù)訓(xùn)練模型對應(yīng)的目標掩碼矩陣，其中，所述目標掩碼矩陣的維度與所述預(yù)訓(xùn)練模型的權(quán)重矩陣的維度相同；

利用所述目標掩碼矩陣對所述預(yù)訓(xùn)練模型的所述權(quán)重矩陣進行處理，得到目標模型。

2.根據(jù)權(quán)利要求1所述的方法，其中，利用奇異值分解算法和范數(shù)正則化算法對神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練，得到預(yù)訓(xùn)練模型包括：

利用奇異值分解算法對所述神經(jīng)網(wǎng)絡(luò)模型進行修改，得到修改后的網(wǎng)絡(luò)模型；

基于范數(shù)正則化算法和目標系數(shù)，生成損失函數(shù)；

利用所述損失函數(shù)和所述目標系數(shù)對所述修改后的網(wǎng)絡(luò)模型進行訓(xùn)練，得到所述預(yù)訓(xùn)練模型。

3.根據(jù)權(quán)利要求2所述的方法，其中，在基于范數(shù)正則化算法和目標系數(shù)，生成損失函數(shù)之前，所述方法還包括：

獲取多組初始系數(shù)；

利用每組初始系數(shù)對所述修改后的網(wǎng)絡(luò)模型進行訓(xùn)練，確定所述每組初始系數(shù)對應(yīng)的第一精度和權(quán)重矩陣；

獲取所述每組初始系數(shù)對應(yīng)的權(quán)重矩陣的稀疏度，得到所述每組初始系數(shù)對應(yīng)的矩陣稀疏度；

基于所述每組初始系數(shù)對應(yīng)的第一精度和矩陣稀疏度，確定所述多組初始系數(shù)中的所述目標系數(shù)。

4.根據(jù)權(quán)利要求3所述的方法，其中，基于所述每組初始系數(shù)對應(yīng)的第一精度和矩陣稀疏度，確定所述多組初始系數(shù)中的所述目標系數(shù)包括：

將所述每組初始系數(shù)對應(yīng)的第一精度與原始精度進行比較，并將所述每組初始系數(shù)對應(yīng)的矩陣稀疏度與預(yù)設(shè)稀疏度進行比較；

如果所述第一精度在所述原始精度的預(yù)設(shè)范圍之內(nèi)，且所述矩陣稀疏度小于所述預(yù)設(shè)稀疏度，則確定相應(yīng)的初始系數(shù)為所述目標系數(shù)。

5.根據(jù)權(quán)利要求2所述的方法，其中，在獲取所述預(yù)訓(xùn)練模型對應(yīng)的目標掩碼矩陣之前，所述方法還包括：

利用范數(shù)正則化算法對所述預(yù)訓(xùn)練模型進行處理，確定掩碼矩陣；

利用所述掩碼矩陣對所述預(yù)訓(xùn)練模型的權(quán)重矩陣進行處理，得到處理后的網(wǎng)絡(luò)模型；

利用所述損失函數(shù)和所述目標系數(shù)對所述處理后的網(wǎng)絡(luò)模型進行重新訓(xùn)練，得到訓(xùn)練后的網(wǎng)絡(luò)模型；

判斷所述訓(xùn)練后的網(wǎng)絡(luò)模型的第二精度是否滿足目標精度；

如果所述第二精度不滿足所述目標精度，則將所述訓(xùn)練后的網(wǎng)絡(luò)模型作為所述預(yù)訓(xùn)練模型，并返回執(zhí)行利用范數(shù)正則化算法對所述預(yù)訓(xùn)練模型進行處理，確定掩碼矩陣的步驟，直至所述第二精度滿足所述目標精度；

如果所述第二精度滿足所述目標精度，則確定所述掩碼矩陣為所述目標掩碼矩陣。

6.根據(jù)權(quán)利要求5所述的方法，其中，利用范數(shù)正則化算法對所述預(yù)訓(xùn)練模型進行處理，確定掩碼矩陣包括：

按照分組組合和列維度對所述預(yù)訓(xùn)練模型的權(quán)重矩陣進行范數(shù)處理，得到多個權(quán)重列的范數(shù)值；

獲取范數(shù)值小于第一預(yù)設(shè)值的權(quán)重列，得到目標權(quán)重列；

確定所述掩碼矩陣中所述目標權(quán)重列對應(yīng)的元素值為預(yù)設(shè)值。

7.根據(jù)權(quán)利要求5所述的方法，其中，利用范數(shù)正則化算法對所述預(yù)訓(xùn)練模型進行處理，確定掩碼矩陣包括：

按照列維度獲取所述權(quán)重矩陣中，位于同一列的權(quán)重值的絕對值的均值，得到多個權(quán)重列的第一均值；

獲取所述權(quán)重矩陣中所有權(quán)重值的均值，得到第二均值；

獲取所述多個權(quán)重列的第一均值與所述第二均值的比值，得到所述多個權(quán)重列的比值；

獲取比值小于第二預(yù)設(shè)值的權(quán)重列，得到目標權(quán)重列；

確定所述掩碼矩陣中所述目標權(quán)重列對應(yīng)的元素值為預(yù)設(shè)值。

8.根據(jù)權(quán)利要求5所述的方法，其中，在利用所述損失函數(shù)和所述目標系數(shù)對所述處理后的網(wǎng)絡(luò)模型進行重新訓(xùn)練的過程中，所述方法還包括：

利用梯度截斷算法對所述處理后的網(wǎng)絡(luò)模型進行處理。