[發明專利]一種數字孿生模型的訓練方法、裝置、設備及介質

有效

• 申請號: 202211418561.4
• 申請日: 2022-11-14
• 公開（公告）號: CN115577641B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 李汶一;程魯明;鄭興
• 申請（專利權）人: 成都飛機工業（集團）有限責任公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N20/00;G06F111/10
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 楊子亮

1.一種數字孿生模型的訓練方法，其特征在于，包括以下步驟：

利用構建的第一強化學習智能體對實際生產線進行映射，以生成數字孿生模型的第一構建參數；基于所述第一構建參數，獲得數字孿生第一模型；

將相同的輸入參數值分別輸入至所述實際生產線和所述數字孿生第一模型，獲得所述實際生產線的實際輸出參數值和所述數字孿生第一模型輸出的第一孿生輸出參數值；所述輸入參數值包括所述實際生產線中所應用設備的物理信息值和IPMI實時數據信息值中的至少一種；所述輸出參數值包括所述設備的運行狀態信息值和所述設備的檢測信息值中的至少一種；

將所述實際輸出參數值和所述第一孿生輸出參數值作差處理，獲得二者的激勵函數值；基于所述激勵函數值，獲得獎勵函數反饋值；基于所述獎勵函數反饋值對所述第一強化學習智能體進行訓練，并在每輪訓練結束后，獲得對應未訓練完成的強化學習智能體，所述未訓練完成的強化學習智能體生成對應模型構建參數用于構建數字孿生中間模型；將相同的輸入參數值分別輸入至所述數字孿生中間模型和所述實際生產線，分別獲得所述數字孿生中間模型輸出的孿生輸出參數中間值和所述實際生產線輸出的實際輸出參數值；基于所述孿生輸出參數中間值和所述實際輸出參數值，獲得二者的激勵函數值；當激勵函數值達到預設值時，訓練結束，獲得第二強化學習智能體；

利用所述第二強化學習智能體對所述實際生產線進行映射，以生成數字孿生模型的第二構建參數；基于所述第二構建參數，獲得數字孿生第二模型；其中，所述數字孿生第二模型的第二孿生輸出參數值與所述實際生產線的實際輸出參數值相同。

2.根據權利要求1所述數字孿生模型的訓練方法，其特征在于，所述利用構建的第一強化學習智能體對實際生產線進行映射，以生成數字孿生模型的第一構建參數；基于所述第一構建參數，獲得數字孿生第一模型，包括：

構建第一強化學習智能體；

利用構建的第一強化學習智能體在預設觀測范圍內對實際生產線進行觀測和映射，以生成數字孿生模型的第一構建參數；

基于所述第一構建參數，獲得數字孿生第一模型。

3.根據權利要求2所述數字孿生模型的訓練方法，其特征在于，所述預設觀測范圍通過如下關系式獲得：

ObsSpace=spaces.Box（low=-limit，high=limit，shape=（1），dtype=float）

其中，ObsSpace表示預設觀測范圍；spaces.Box表示一個有邊界的連續數組；Low表示觀測范圍的下邊界；High表示觀測范圍的上邊界；Limit表示觀測范圍的具體值，由模型建立時設置；Shape表示數組組成的向量形式；dtype=float表示數據類型為連續型小數。

4.根據權利要求1所述數字孿生模型的訓練方法，其特征在于，所述基于所述獎勵函數反饋值對所述第一強化學習智能體進行訓練，并在每輪訓練結束后，獲得對應未訓練完成的強化學習智能體，所述未訓練完成的強化學習智能體生成對應模型構建參數用于構建數字孿生中間模型，包括：

所述第一強化學習智能體進行隨機生成運動區間，基于所述獎勵函數反饋值對上述運動區間的參數進行調整訓練；并在每輪訓練結束后，獲得對應未訓練完成的強化學習智能體，所述未訓練完成的強化學習智能體生成對應模型構建參數用于構建數字孿生中間模型。