[發(fā)明專利]一種基于機(jī)器視覺的數(shù)字孿生模型修正方法與系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011279648.9
• 申請日: 2020-11-16
• 公開（公告）號: CN112380704B
• 公開（公告）日: 2022-05-20
• 發(fā)明（設(shè)計(jì)）人: 劉蔚然;陶飛;程江峰;左穎
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06F30/27;G06V40/20;G06V20/10;G06N20/00;G06T17/00;G06F16/2455;G06F111/10
• 代理公司: 北京科迪生專利代理有限責(zé)任公司 11251
• 代理人: 張乾楨

1.一種基于機(jī)器視覺的數(shù)字孿生模型修正方法，其特征在于，具體修正方法步驟如下：

步驟(1)、進(jìn)行數(shù)字孿生模型匹配，基于目標(biāo)識別實(shí)現(xiàn)對待修正目標(biāo)的識別、數(shù)字孿生模型的匹配和調(diào)用，具體包括：

(1.1)首先借助圖像目標(biāo)識別對待修正目標(biāo)進(jìn)行識別判斷，確定待修正目標(biāo)是否為系統(tǒng)中的要素并存在數(shù)字孿生模型；

(1.2)在模型庫中查找并匹配待修正目標(biāo)的數(shù)字孿生模型；

(1.3)將待修正目標(biāo)的數(shù)字孿生模型從模型庫中調(diào)出，用于后續(xù)的修正執(zhí)行；

步驟(2)、進(jìn)行基于機(jī)器視覺的數(shù)字孿生模型修正控制，實(shí)現(xiàn)對數(shù)字孿生模型修正策略的制定和執(zhí)行控制，以及數(shù)字孿生模型的版本管理與更新，具體包括：

(2.1)根據(jù)待修正目標(biāo)的外觀復(fù)雜度、材質(zhì)特性、運(yùn)動特性、功能性能、數(shù)字孿生模型需求制定數(shù)字孿生模型修正策略；

(2.2)根據(jù)制定的數(shù)字孿生模型修正策略以及策略的執(zhí)行狀態(tài)，跳轉(zhuǎn)至步驟(3)或步驟(4)執(zhí)行具體模型修正操作；

(2.3)判斷數(shù)字孿生模型修正策略是否執(zhí)行完畢，如執(zhí)行完畢，進(jìn)入步驟(2.4)，如未執(zhí)行完畢，返回步驟(2.2)；

(2.4)根據(jù)數(shù)字孿生模型修正策略的執(zhí)行情況，判斷是否需要執(zhí)行其他模型修正，包括：動作模型修正后需要對控制系統(tǒng)模型進(jìn)行修正、三維模型修正后需要對物理屬性模型進(jìn)行修正、三維模型在修正中發(fā)現(xiàn)缺陷需要對故障預(yù)測模型進(jìn)行修正，如需要執(zhí)行其他模型修正，進(jìn)入步驟(2.5)，如不需要，進(jìn)入步驟(2.6)；

(2.5)調(diào)用其他模型修正系統(tǒng)對數(shù)字孿生模型做進(jìn)一步修正；

(2.6)對數(shù)字孿生模型進(jìn)行版本管理與更新，包括修正前的數(shù)字孿生模型記錄、備份，修正后的數(shù)字孿生模型的修正記錄、更新、功能對接；

步驟(3)、進(jìn)行數(shù)字孿生三維模型修正，基于圖像識別對數(shù)字孿生三維模型是否需要修正進(jìn)行判斷并執(zhí)行修正操作，具體包括：

(3.1)基于待修正目標(biāo)狀態(tài)對圖像識別策略進(jìn)行確認(rèn)，設(shè)置物理空間中待修正目標(biāo)圖像掃描的軟硬件環(huán)境，并在虛擬空間中設(shè)置相同的掃描條件；

(3.2)對待修正目標(biāo)進(jìn)行圖像掃描，包括三維點(diǎn)云掃描以及各角度的圖像采集；

(3.3)在虛擬空間中以相同角度對待修正目標(biāo)的數(shù)字孿生三維模型進(jìn)行虛擬掃描并生成圖像；

(3.4)對物理掃描圖像與虛擬掃描圖像進(jìn)行預(yù)處理，包括點(diǎn)云數(shù)據(jù)生成三維模型，采集圖像的待修正目標(biāo)分割，圖像幾何特征提取，并對預(yù)處理后的物理掃描圖像、模型與虛擬掃描圖像、模型進(jìn)行比對，判斷并記錄差異；

(3.5)根據(jù)比對結(jié)果判斷是否需要修正數(shù)字孿生三維模型，如需要，進(jìn)入步驟(3.6)，如不需要，進(jìn)入步驟(2.2)；

(3.6)基于比對結(jié)果與待修正目標(biāo)狀態(tài)定位修正點(diǎn)，對數(shù)字孿生三維模型進(jìn)行修正，包括對如下異常狀態(tài)進(jìn)行修正：幾何結(jié)構(gòu)與尺寸修正，表面材質(zhì)狀態(tài)修正，磨損、腐蝕、裂紋、斷裂缺陷狀態(tài)修正，修正完成后返回步驟(3.3)；

步驟(4)、進(jìn)行數(shù)字孿生運(yùn)動模型修正，基于動作捕捉對數(shù)字孿生運(yùn)動模型是否需要修正進(jìn)行判斷并執(zhí)行修正操作，具體包括：

(4.1)基于待修正目標(biāo)狀態(tài)對動作捕捉策略進(jìn)行確認(rèn)，設(shè)置物理空間中待修正目標(biāo)動作捕捉的軟硬件環(huán)境，并設(shè)置數(shù)字孿生模型與待修正目標(biāo)動作信號的數(shù)據(jù)連接；

(4.2)待修正目標(biāo)依據(jù)動作捕捉策略執(zhí)行動作，進(jìn)行動作捕捉，并采集待修正目標(biāo)相關(guān)動作信號，包括線位移、線速度、線加速度、角位移、角速度、角加速度；

(4.3)數(shù)字孿生模型基于待修正目標(biāo)動作信號執(zhí)行動作，并記錄動作數(shù)據(jù)；

(4.4)對待修正目標(biāo)動作捕捉數(shù)據(jù)與數(shù)字孿生模型動作數(shù)據(jù)進(jìn)行預(yù)處理，生成待修正目標(biāo)與數(shù)字孿生模型的機(jī)構(gòu)運(yùn)動圖，并對待修正目標(biāo)與數(shù)字孿生模型的機(jī)構(gòu)運(yùn)動圖與動作數(shù)據(jù)進(jìn)行比對，判斷并記錄差異；

(4.5)根據(jù)比對結(jié)果判斷是否需要修正數(shù)字孿生運(yùn)動模型，如需要，進(jìn)入步驟(4.6)，如不需要，進(jìn)入步驟(2.2)；

(4.6)基于動作比對結(jié)果與待修正目標(biāo)狀態(tài)定位修正點(diǎn)，對數(shù)字孿生運(yùn)動模型進(jìn)行修正，包括運(yùn)動機(jī)構(gòu)結(jié)構(gòu)與運(yùn)動形式、運(yùn)動邊界、物理動作信號映射邏輯，修正完成后返回步驟(4.3)。

2.一種基于機(jī)器視覺的數(shù)字孿生模型修正系統(tǒng)，其特征在于，包括：

數(shù)字孿生模型匹配模塊，該模塊實(shí)現(xiàn)對待修正目標(biāo)進(jìn)行識別判斷，確定待修正目標(biāo)是否為系統(tǒng)中的要素并存在數(shù)字孿生模型，同時(shí)借助系統(tǒng)接口實(shí)現(xiàn)在模型庫中查找并匹配待修正目標(biāo)的數(shù)字孿生模型，并將數(shù)字孿生模型從模型庫中調(diào)出，用于后續(xù)的修正執(zhí)行；

基于機(jī)器視覺的數(shù)字孿生模型修正控制模塊，該模塊根據(jù)待修正目標(biāo)的外觀復(fù)雜度、材質(zhì)特性、運(yùn)動特性、功能性能、數(shù)字孿生模型需求制定數(shù)字孿生模型修正策略，依據(jù)修正策略控制數(shù)字孿生三維模型修正模塊與數(shù)字孿生運(yùn)動模型修正模塊的執(zhí)行，數(shù)字孿生模型修正策略執(zhí)行完畢后根據(jù)策略的執(zhí)行情況，判斷是否需要執(zhí)行其他模型修正，并調(diào)用其他模型修正系統(tǒng)，最后對數(shù)字孿生模型進(jìn)行版本管理與更新；

數(shù)字孿生三維模型修正模塊，該模塊通過接收基于機(jī)器視覺的數(shù)字孿生模型修正控制模塊的控制指令和修正策略，對修正策略進(jìn)行確認(rèn)后設(shè)置待修正目標(biāo)與數(shù)字孿生三維模型的圖像掃描環(huán)境，執(zhí)行待修正目標(biāo)與數(shù)字孿生三維模型的圖像掃描并進(jìn)行掃描圖像預(yù)處理，對預(yù)處理后的物理掃描圖像、模型與虛擬掃描圖像、模型進(jìn)行比對，基于比對結(jié)果判斷并執(zhí)行數(shù)字孿生三維模型修正；

數(shù)字孿生運(yùn)動模型修正模塊，該模塊通過接收基于機(jī)器視覺的數(shù)字孿生模型修正控制模塊的控制指令和修正策略，對修正策略進(jìn)行確認(rèn)后設(shè)置待修正目標(biāo)動作捕捉軟硬件環(huán)境以及數(shù)字孿生模型與待修正目標(biāo)動作信號的數(shù)據(jù)連接，待修正目標(biāo)執(zhí)行動作指令并對其進(jìn)行動作捕捉，同時(shí)數(shù)字孿生模型基于待修正目標(biāo)的動作信號執(zhí)行動作并記錄動作數(shù)據(jù)，生成待修正目標(biāo)與數(shù)字孿生模型的機(jī)構(gòu)運(yùn)動圖，并對待修正目標(biāo)與數(shù)字孿生模型的機(jī)構(gòu)運(yùn)動圖與動作數(shù)據(jù)進(jìn)行比對，基于比對結(jié)果判斷并執(zhí)行數(shù)字孿生運(yùn)動模型修正。