[發(fā)明專利]一種基于增強(qiáng)現(xiàn)實(shí)的遠(yuǎn)程裝備維保系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110238688.7
• 申請日: 2021-03-04
• 公開（公告）號: CN113011723A
• 公開（公告）日: 2021-06-22
• 發(fā)明（設(shè)計）人: 李新樂;陳宇翔;張記強(qiáng);張健;于然;張楊;趙曉燕
• 申請（專利權(quán)）人: 北京計算機(jī)技術(shù)及應(yīng)用研究所
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q10/00;G09B9/00
• 代理公司: 中國兵器工業(yè)集團(tuán)公司專利中心 11011
• 代理人: 王雪芬

1.一種基于增強(qiáng)現(xiàn)實(shí)的遠(yuǎn)程裝備維保系統(tǒng)，其特征在于，包括：場景還原建模模塊、裝備維保模塊；

所述場景還原建模模塊用于在系統(tǒng)啟動后，進(jìn)行現(xiàn)實(shí)環(huán)境的掃描和建模，完成裝備模型加載過程，實(shí)現(xiàn)虛擬信息與現(xiàn)實(shí)場景的交互；

所述裝備維保模塊用于在完成裝備模型加載過程后，實(shí)現(xiàn)裝備維保。

2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述場景還原建模模塊包括相機(jī)跟蹤子模塊、場景重建子模塊和環(huán)境特征識別子模塊；

所述相機(jī)跟蹤子模塊，用于通過增強(qiáng)現(xiàn)實(shí)眼鏡所配備的相機(jī)和傳感器，在系統(tǒng)運(yùn)行過程中完成相機(jī)跟蹤注冊，實(shí)時判斷AR眼鏡姿態(tài)信息，基于眼鏡姿態(tài)信息實(shí)時調(diào)整系統(tǒng)虛擬場景的渲染相機(jī)姿態(tài)，提高混合現(xiàn)實(shí)沉浸感；

所述場景重建子模塊，用于在相機(jī)跟蹤的同時，傳感器采集現(xiàn)實(shí)環(huán)境深度信息，并根據(jù)深度信息完成對操作者所處現(xiàn)實(shí)環(huán)境的等比例還原建模，得到現(xiàn)實(shí)場景模型；

所述環(huán)境特征識別子模塊，用于在場景重建過程得到現(xiàn)實(shí)場景模型的基礎(chǔ)上，對模型進(jìn)行網(wǎng)格簡化處理和分類分析，識別出場景中的具有典型特征的現(xiàn)實(shí)物體；并以具有簡化平面和不同材質(zhì)的扁平立方體替換原有場景中的原始重建模型，實(shí)現(xiàn)虛擬場景中對于現(xiàn)實(shí)場景特征的識別和標(biāo)識。

3.如權(quán)利要求2所述的系統(tǒng)，其特征在于，所述裝備維保模塊包括裝備故障數(shù)據(jù)庫、故障診斷模塊、模擬維修訓(xùn)練模塊和實(shí)物設(shè)備輔助維修模塊；

所述裝備故障數(shù)據(jù)庫中集成裝備的預(yù)設(shè)常見故障及通用維修流程的數(shù)據(jù)庫信息，并支持用戶的自定義故障類型及解決方案擴(kuò)展；

所述故障診斷模塊，是在開始設(shè)備維修流程前預(yù)先運(yùn)行的，用于根據(jù)設(shè)備故障現(xiàn)象描述和用戶的輸入交互，基于常見裝備故障數(shù)據(jù)庫自動判斷當(dāng)前故障類型，選擇并啟動對應(yīng)的裝備維修流程；

所述模擬維保訓(xùn)練模塊，用于實(shí)現(xiàn)不具備實(shí)際裝備的條件下進(jìn)行維修過程技能訓(xùn)練的模擬培訓(xùn)，故障診斷階段完成后，即將裝備的等比例虛擬模型渲染顯示在現(xiàn)實(shí)場景中，基于集成的裝備故障數(shù)據(jù)庫提供的維修流程信息，通過用戶的交互操作完全模擬裝備維修的完整流程；

所述實(shí)物設(shè)備輔助維修模塊，用于在有實(shí)物設(shè)備的裝備的實(shí)際維修作業(yè)場景中，完成全過程輔助維修。

4.如權(quán)利要求3所述的系統(tǒng)，其特征在于，所述實(shí)物設(shè)備輔助維修模塊的具體實(shí)現(xiàn)過程為：

在故障診斷模塊完成后，通過特征識別的方法獲取現(xiàn)實(shí)裝備的位置和姿態(tài)；

然后將虛擬的裝備模型信息自動移動到指定位置并調(diào)整姿態(tài)與現(xiàn)實(shí)裝備對齊；

完成對齊后，即隱藏虛擬的裝備模型，避免模型與現(xiàn)實(shí)裝備的重合導(dǎo)致的視覺效果混亂；

隨后按照故障數(shù)據(jù)庫中提供的維修流程方案渲染顯示輔助維修操作信息輔助后續(xù)的整個維修流程，以保證原本顯示在虛擬裝備模型一側(cè)的輔助維修信息可直接顯示在現(xiàn)實(shí)裝備的相同位置。

5.如權(quán)利要求3所述的系統(tǒng)，其特征在于，所述模擬維保訓(xùn)練模塊與輔助維保模塊可并行執(zhí)行。

6.如權(quán)利要求4所述的系統(tǒng)，其特征在于，該系統(tǒng)還包括遠(yuǎn)程通信模塊，所述遠(yuǎn)程通信模塊包括視頻通話子模塊、遠(yuǎn)程解決方案推送子模塊，所述視頻通話子模塊，用于基于通用視頻通話框架實(shí)現(xiàn)AR眼鏡端與遠(yuǎn)端的視頻通話；所述遠(yuǎn)程解決方案推送子模塊，用于根據(jù)需要遠(yuǎn)程傳送圖片形式的解決方案給現(xiàn)場操作者，并實(shí)時渲染顯示到操作者所看到的虛實(shí)融合場景中，以及用于推送指定零部件及其它3D模型文件到現(xiàn)場操作者端，并實(shí)時渲染顯示到AR眼鏡的場景中。

7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述視頻通話子模塊的具體實(shí)現(xiàn)流程為：

佩戴AR眼鏡正在進(jìn)行維修作業(yè)的操作者在遇到現(xiàn)有系統(tǒng)未集成解決方案的維修問題時，在視頻通話模塊中查找在線專家，并在線專家列表中選擇專家請求視頻通話；

遠(yuǎn)端專家在接受視頻請求后，通過與操作者同視角的視頻畫面遠(yuǎn)程判斷故障現(xiàn)象，并通過實(shí)時與操作者交互，幫助其完成維修任務(wù)，同時遠(yuǎn)程視頻畫面內(nèi)容支持AR眼鏡相機(jī)采集到的現(xiàn)實(shí)畫面與AR眼鏡渲染的虛擬場景信息的疊加融合顯示，增加專家端的AR場景沉浸感。