[發(fā)明專利]一種數(shù)字孿生模型的訓(xùn)練方法、裝置、設(shè)備及介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202211418561.4
• 申請(qǐng)日: 2022-11-14
• 公開（公告）號(hào): CN115577641B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 李汶一;程魯明;鄭興
• 申請(qǐng)（專利權(quán)）人: 成都飛機(jī)工業(yè)（集團(tuán)）有限責(zé)任公司
• 主分類號(hào): G06F30/27
• 分類號(hào): G06F30/27;G06N20/00;G06F111/10
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 楊子亮

本申請(qǐng)公開了一種數(shù)字孿生模型的訓(xùn)練方法、裝置、設(shè)備及介質(zhì)，用于提高數(shù)字孿生模型對(duì)現(xiàn)實(shí)情況的模擬匹配度。所述方法為：利用構(gòu)建的第一強(qiáng)化學(xué)習(xí)智能體對(duì)實(shí)際生產(chǎn)線進(jìn)行映射，以生成數(shù)字孿生模型的第一構(gòu)建參數(shù)并獲得數(shù)字孿生第一模型；將相同的輸入?yún)?shù)值分別輸入至實(shí)際生產(chǎn)線和數(shù)字孿生第一模型，獲得實(shí)際生產(chǎn)線的實(shí)際輸出參數(shù)值和數(shù)字孿生第一模型輸出的第一孿生輸出參數(shù)值；將實(shí)際輸出參數(shù)值和第一孿生輸出參數(shù)值作差處理，獲得二者的激勵(lì)函數(shù)值；基于激勵(lì)函數(shù)值對(duì)第一強(qiáng)化學(xué)習(xí)智能體進(jìn)行迭代訓(xùn)練，獲得第二強(qiáng)化學(xué)習(xí)智能體并對(duì)實(shí)際生產(chǎn)線進(jìn)行映射，以生成數(shù)字孿生模型的第二構(gòu)建參數(shù)；基于第二構(gòu)建參數(shù)，獲得數(shù)字孿生第二模型。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)字孿生技術(shù)領(lǐng)域，尤其涉及一種數(shù)字孿生模型的訓(xùn)練方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

數(shù)字孿生通常用于表示復(fù)雜的物理產(chǎn)品或過(guò)程，其通過(guò)高頻數(shù)據(jù)采集或建模技術(shù)可以創(chuàng)建數(shù)字雙胞胎，并為最終用戶提供有用的信意以輔助決策。但現(xiàn)有的數(shù)字孿生模型對(duì)實(shí)際生產(chǎn)線的模擬匹配度仍有待提升。

發(fā)明內(nèi)容

本申請(qǐng)的主要目的是提供一種數(shù)字孿生模型的訓(xùn)練方法、裝置、設(shè)備及介質(zhì)，旨在解決現(xiàn)有數(shù)字孿生模型對(duì)現(xiàn)實(shí)情況的模擬匹配度不足的技術(shù)問(wèn)題。

為解決上述技術(shù)問(wèn)題，本申請(qǐng)實(shí)施例提出了：一種數(shù)字孿生模型的訓(xùn)練方法，包括以下步驟：

利用構(gòu)建的第一強(qiáng)化學(xué)習(xí)智能體對(duì)實(shí)際生產(chǎn)線進(jìn)行映射，以生成數(shù)字孿生模型的第一構(gòu)建參數(shù)；基于所述第一構(gòu)建參數(shù)，獲得數(shù)字孿生第一模型；

將相同的輸入?yún)?shù)值分別輸入至所述實(shí)際生產(chǎn)線和所述數(shù)字孿生第一模型，獲得所述實(shí)際生產(chǎn)線的實(shí)際輸出參數(shù)值和所述數(shù)字孿生第一模型輸出的第一孿生輸出參數(shù)值；所述輸入?yún)?shù)值包括所述實(shí)際生產(chǎn)線中所應(yīng)用設(shè)備的物理信息值和IPMI實(shí)時(shí)數(shù)據(jù)信息值中的至少一種；所述輸出參數(shù)值包括所述設(shè)備的運(yùn)行狀態(tài)信息值和所述設(shè)備的檢測(cè)信息值中的至少一種；

將所述實(shí)際輸出參數(shù)值和所述第一孿生輸出參數(shù)值作差處理，獲得二者的激勵(lì)函數(shù)值；基于所述激勵(lì)函數(shù)值對(duì)所述第一強(qiáng)化學(xué)習(xí)智能體進(jìn)行迭代訓(xùn)練，獲得第二強(qiáng)化學(xué)習(xí)智能體；

利用所述第二強(qiáng)化學(xué)習(xí)智能體對(duì)所述實(shí)際生產(chǎn)線進(jìn)行映射，以生成數(shù)字孿生模型的第二構(gòu)建參數(shù)；基于所述第二構(gòu)建參數(shù)，獲得數(shù)字孿生第二模型；其中，所述數(shù)字孿生第二模型的第二孿生輸出參數(shù)值與所述實(shí)際生產(chǎn)線的實(shí)際輸出參數(shù)值相同。

作為本申請(qǐng)一些可選實(shí)施例，所述利用構(gòu)建的第一強(qiáng)化學(xué)習(xí)智能體對(duì)實(shí)際生產(chǎn)線進(jìn)行映射，以生成數(shù)字孿生模型的第一構(gòu)建參數(shù)；基于所述第一構(gòu)建參數(shù)，獲得數(shù)字孿生第一模型，包括：

構(gòu)建第一強(qiáng)化學(xué)習(xí)智能體；

利用構(gòu)建的第一強(qiáng)化學(xué)習(xí)智能體在預(yù)設(shè)觀測(cè)范圍內(nèi)對(duì)實(shí)際生產(chǎn)線進(jìn)行觀測(cè)和映射，以生成數(shù)字孿生模型的第一構(gòu)建參數(shù)；

基于所述第一構(gòu)建參數(shù)，獲得數(shù)字孿生第一模型。

作為本申請(qǐng)一些可選實(shí)施例，所述預(yù)設(shè)觀測(cè)范圍通過(guò)如下關(guān)系式獲得：

ObsSpace=spaces.Box（low=-limit，high=limit，shape=（1），dtype=float）