[發明專利]調試深度神經網絡

在審

• 申請號: 202010271714.1
• 申請日: 2020-04-09
• 公開（公告）號: CN111814951A
• 公開（公告）日: 2020-10-23
• 發明（設計）人: R·阿拉里卡特;S·G·塔米爾瑟爾瓦姆;S·克哈瑞;N·潘瓦爾;A·桑卡蘭;S·K·K·瑪尼
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06F11/36;G06F8/41
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 鄭宗玉

1.一種計算機實現的方法，包括：

自動識別與深度學習DL模型設計/代碼相關聯的一個或多個調試層，

其中所識別的一個或多個調試層包括一個或多個錯誤，

其中對于所識別的一個或多個調試層引入反向操作；以及

基于至少一個中斷條件向用戶呈現調試輸出，

其中響應于確定滿足所述至少一個中斷條件，觸發要呈現給用戶的調試輸出，

其中所呈現的調試輸出包括對在所述DL模型設計/代碼中識別的一個或多個調試層的修復以及至少一個可行的洞察。

2.根據權利要求1所述的方法，其中自動識別所述深度學習DL模型設計/代碼中的一個或多個層以用于調試還包括：

接收所述DL模型設計/代碼以及與接收到的DL模型設計/代碼相關聯的訓練數據；

在接收到的DL模型設計/代碼中搜索一個或多個全局調試標志；

在接收到的DL模型設計/代碼中識別一個或多個全局調試標志，

其中所識別的一個或多個全局調試標志的存在指示接收到的DL模型設計/代碼應開始調試；

響應于確定推薦對接收到的DL模型設計/代碼進行調試，從接收到的訓練數據創建調試集和較小訓練集；以及

為接收到的DL模型設計/代碼選擇所述至少一個中斷條件，

其中所選擇的所述至少一個中斷條件確定呈現給用戶的調試輸出。

3.根據權利要求2所述的方法，還包括：

響應于確定存在標準任務和模型架構，根據知識庫自動標記所識別的一個或多個調試層，

其中所述知識庫包括與具有標準任務的先前訓練的標準模型架構相關聯的多個先前訓練數據，

其中每個先前訓練的標準模型架構包括具有調試標記的先前識別的調試層的列表。

4.根據權利要求2所述的方法，還包括：

響應于確定與接收到的DL模型設計/代碼相關聯的非標準任務和/或模型架構，基于與接收到的訓練數據相關聯的所創建的調試集和較小訓練集來訓練接收到的DL模型設計/代碼；

根據所訓練的DL模型設計/代碼的所標記的一個或多個調試層來計算與每個調試層相關聯的兩組給定權重，

其中所計算的第一組給定權重與針對來自所訓練的DL模型設計/代碼的所標記的一個或多個調試層中的每個調試層的所創建的調試集相關聯，所計算的第二組給定權重與針對來自所訓練的DL模型設計/代碼的所標記的一個或多個調試層中的每個調試層的較小訓練集相關聯；以及

將與來自所訓練的DL模型設計/代碼的所標記的一個或多個調試層中的每個調試層相關聯的所計算的兩組給定權重存儲在權重存儲庫中。

5.根據權利要求4所述的方法，還包括：

計算與所訓練的DL模型設計/代碼的每個調試層相關聯的層權重相關性，

其中，為與針對所訓練的DL模型設計/代碼的每個調試層的所創建的調試集相關聯的所計算的第一組給定權重計算第一層權重相關性值，并且為與針對所訓練的DL模型設計/代碼的每個調試層的較小訓練集相關聯的所計算的第二組給定權重計算第二層權重相關性值，

其中，比較第一層權重相關性值和第二層權重相關性值，以確定所述層權重相關性是否從所計算的第一層權重相關性值減小到所計算的第二層權重相關性值。

6.根據權利要求5所述的方法，還包括：

響應于確定與來自所訓練的DL模型設計/代碼的所標記的一個或多個調試層中的每個調試層相關聯的層權重相關性減小，將與減小的層權重相關性相關聯的每個調試層添加到調試列表；

向所述調試列表上的每個添加的調試層添加調試標記；以及

基于所添加的調試標記將調試塊連接到每個添加的調試層。

7.根據權利要求6所述的方法，其中所述調試列表包括來自所標記的一個或多個調試層中的每個調試層的標識符、以及與來自所標記的一個或多個調試層中的每個調試層相關聯的數據集。