[發明專利]一種提升神經網絡預測性能的方法

在審

• 申請號: 202011339207.3
• 申請日: 2020-11-25
• 公開（公告）號: CN112329924A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 孫亞楠;劉渝橋;吳杰
• 申請（專利權）人: 四川大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N7/00;G06N3/08
• 代理公司: 北京正華智誠專利代理事務所(普通合伙) 11870
• 代理人: 李林合

1.一種提升神經網絡預測性能的方法，其特征在于，包括如下步驟：

S1、提取神經網絡架構，將不同編碼方式的神經網絡架構進行編碼轉換，獲得編碼后的層的類型列表x^t以及鄰接矩陣x^m；

S2、對類型列表x^t以及鄰接矩陣x^m進行數據填充；

S3、裁剪數據填充之后的非必要維度；

S4、利用數據增強算法對裁剪之后的數據進行擴充，得到包含多個訓練數據的數據集；

S5、建立性能預測器模型R，利用擴充后的數據集對性能預測器模型進行訓練；

S6、利用訓練完成的性能預測器模型預測測試數據的性能。

2.根據權利要求1所述的一種提升神經網絡預測性能的方法，其特征在于，所述步驟S1中編碼轉換的方式為：

將鄰接矩陣x^m按行轉換為一維二進制編碼，同時將層的類型列表x^t轉化為一維二進制編碼，并利用設定函數將轉換之后的鄰接矩陣x^m和層的類型列表x^t表達式串聯合并。

3.根據權利要求2所述的一種提升神經網絡預測性能的方法，其特征在于，編碼轉換之后的神經網絡架構表示為：

X＝concat{flattened(x^m)，one-hot(x^t)}；

其中，

X為神經網絡架構；flattended(x^m)表示將二維的鄰接矩陣x^m按行轉換為一維的二進制向量；one-hot(x^t)表示將層的類型列表x^t轉化為一維的二進制向量；concat(·)表示兩個一維的二進制向量的串聯合并。

4.根據權利要求1所述的一種提升神經網絡預測性能的方法，其特征在于，所述步驟S2中數據填充的方法為：

對層的類型列表x^t和鄰接矩陣x^m進行補零。

5.根據權利要求4所述的一種提升神經網絡預測性能的方法，其特征在于，所述補零的方法為：

從層的類型列表x^t中倒數第二個元素以及鄰接矩陣x^m中倒數第二行和倒數第二列開始，對其后的數據進行補零。

6.根據權利要求1所述的一種提升神經網絡預測性能的方法，其特征在于，所述非必要維度為層的類型列表x^t中第一個元素和最后一個元素、鄰接矩陣x^m的第一列和最后一行。

7.根據權利要求1所述的一種提升神經網絡預測性能的方法，其特征在于，所述數據增強算法為，對任意的神經網絡架構X_i，將其層類型列表x^t中除去第一層和最后一層的任意兩層數據層進行位置交換，生成對應同一個性能的(N_l-2)！種神經網絡表達方式，其中的每一種表達式均作為數據集中的一組訓練數據，其中N_l表示層的類型列表x^t的層數。

8.根據權利要求7所述的一種提升神經網絡預測性能的方法，其特征在于，當所述層的類型列表x^t中的任意兩層交換時，鄰接矩陣x^m中對應的行和列也進行相應交換。

9.根據權利要求8所述的一種提升神經網絡預測性能的方法，其特征在于，所述層的類型列表x^t中每一層數據與鄰接矩陣x^m中行列數據的關系為，鄰接矩陣x^m中的第i行表示層的類型列表x^t中第i層的輸出，鄰接矩陣x^m中的第j列表示層的類型列表x^t中第j層的輸入。

10.根據權利要求1所述的一種提升神經網絡預測性能的方法，其特征在于，所述性能預測器模型R的訓練過程表示為：

其中，是R的損失函數，T_p是性能預測器模型R的可訓練的參數；X_n為神經網絡的架構信息，y_n為對應的神經網絡架構的性能，N為訓練集中神經網絡架構X的總量。