[發明專利]信息處理設備、信息處理方法及計算機可讀記錄介質

在審

• 申請號: 202010424381.1
• 申請日: 2020-05-19
• 公開（公告）號: CN111985631A
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 笠置明彥;田渕晶大;山崎雅文
• 申請（專利權）人: 富士通株式會社
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 高巖;楊林森

1.一種信息處理設備，包括：

多個操作裝置；以及

對應于所述多個操作裝置的多個存儲裝置，

其中，所述多個操作裝置中的每個操作裝置：

向表示神經網絡并且包括所述多個操作裝置之間共同的第一權重的模型輸入與由其他操作裝置使用的第一數據不同的第一數據，基于所述模型的輸出計算針對所述第一權重的誤差梯度，并且對所述誤差梯度和由所述其他操作裝置計算出的其他誤差梯度進行合并以獲得經合并的誤差梯度，

將所述第一權重存儲在所述多個存儲裝置中的對應存儲裝置中并且基于與由所述其他操作裝置使用的超參數值不同的超參數值、所述經合并的誤差梯度和所述第一權重將所述模型的權重更新為第二權重，

將所述多個操作裝置之間共同的第二數據輸入至所述模型，評估所述模型的輸出的精度，將所述精度的評估結果與由所述其他操作裝置獲取的評估結果進行比較，并且選擇所述多個操作裝置之間共同的超參數值，以及

基于所選擇的超參數值、所述經合并的誤差梯度和存儲在所述對應存儲裝置中的所述第一權重將所述模型的權重更新為第三權重。

2.根據權利要求1所述的信息處理設備，其中，在與所述多個操作裝置相對應的多個超參數值中，與實現了最高輸出精度的操作裝置相對應的超參數值被選擇為所述多個操作裝置之間共同的超參數值。

3.根據權利要求1所述的信息處理設備，其中，與由所述其他操作裝置使用的超參數值不同的超參數值是通過將與由所述其他操作裝置使用的調整系數不同的調整系數應用于所述多個操作裝置之間共同的超參數基本值來生成的。

4.根據權利要求1所述的信息處理設備，其中，

向由所述多個操作裝置中的每個操作裝置執行的過程分配標識信息，

與由所述其他操作裝置使用的超參數值不同的超參數值是根據分配給對應過程的標識信息來確定的，并且

所述多個操作裝置之間共同的標識信息中的一項是基于所述精度的評估結果與由所述其他操作裝置獲取的評估結果之間的比較來選擇的，并且所述多個操作裝置之間共同的超參數值是根據所選擇的標識信息中的一項來確定的。

5.根據權利要求1所述的信息處理設備，其中，

所述模型包括多個第一權重，并且

以并行方式執行：針對所述多個第一權重中誤差梯度未被計算的第一權重的誤差梯度的計算，以及已經計算出的誤差梯度在所述多個操作裝置之間的傳送。

6.一種信息處理方法，其由包括多個操作裝置的計算機執行，所述信息處理方法包括：

使所述多個操作裝置中的每個操作裝置向表示神經網絡并且包括所述多個操作裝置之間共同的第一權重的模型輸入與由其他操作裝置使用的第一數據不同的第一數據，基于所述模型的輸出計算針對所述第一權重的誤差梯度，并且對由所述多個操作裝置計算出的所述誤差梯度進行合并以獲得經合并的誤差梯度，

使所述多個操作裝置中的每個操作裝置將所述第一權重存儲在對應存儲裝置中并且基于與由所述其他操作裝置使用的超參數值不同的超參數值、所述經合并的誤差梯度和所述第一權重將所述模型的權重更新為第二權重，

使所述多個操作裝置中的每個操作裝置將所述多個操作裝置之間共同的第二數據輸入至所述模型，評估所述模型的輸出的精度，比較由所述多個操作裝置執行的評估的結果，并且選擇所述多個操作裝置之間共同的超參數值，以及

使所述多個操作裝置中的每個操作裝置基于所選擇的超參數值、所述經合并的誤差梯度和存儲在所述對應存儲裝置中的所述第一權重將所述模型的權重更新為第三權重。

7.一種非暫態計算機可讀記錄介質，其中存儲有使包括多個操作裝置的計算機執行包括以下操作的處理的計算機程序：

使所述多個操作裝置中的每個操作裝置向表示神經網絡并且包括所述多個操作裝置之間共同的第一權重的模型輸入與由其他操作裝置使用的第一數據不同的第一數據，基于所述模型的輸出計算針對所述第一權重的誤差梯度，并且對由所述多個操作裝置計算出的所述誤差梯度進行合并以獲得經合并的誤差梯度，

使所述多個操作裝置中的每個操作裝置將所述第一權重存儲在對應存儲裝置中并且基于與由所述其他操作裝置使用的超參數值不同的超參數值、所述經合并的誤差梯度和所述第一權重將所述模型的權重更新為第二權重，

使所述多個操作裝置中的每個操作裝置將所述多個操作裝置之間共同的第二數據輸入至所述模型，評估所述模型的輸出的精度，比較由所述多個操作裝置執行的評估的結果，并且選擇所述多個操作裝置之間共同的超參數值，以及

使所述多個操作裝置中的每個操作裝置基于所選擇的超參數值、所述經合并的誤差梯度和存儲在所述對應存儲裝置中的所述第一權重將所述模型的權重更新為第三權重。