[發明專利]基于增強現實的無人機零部件手工鋪層輔助系統和方法

有效

• 申請號: 202011208642.2
• 申請日: 2020-11-03
• 公開（公告）號: CN112330818B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 蔣志廣;張立建;陳華俊;張立偉;陳金明;邱鐵成;孟凡雷;陳家平;許貞龍;趙晶晶;趙佳成;韓釗
• 申請（專利權）人: 北京衛星環境工程研究所
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T17/00;G06T7/73;G06T7/33;G06K9/00;B64F5/10
• 代理公司: 北京志霖恒遠知識產權代理事務所(普通合伙) 11435
• 代理人: 郭棟梁

1.一種基于增強現實的無人機零部件手工鋪層輔助系統，其特征在于，所述手工鋪層輔助系統包括：圖像采集模塊、目標識別模塊、工藝生成模塊、虛實融合模塊、工藝推送模塊、交互控制模塊、顯示模塊；其中，

所述圖像采集模塊與所述目標識別模塊和虛實融合模塊相連，用于實時捕捉操作平臺上指定區域內的無人機零部件圖像和操作動作畫面，生成視頻流數據供目標識別模塊和虛實融合模塊讀取；

所述目標識別模塊具有零部件三維模型數據庫及三維模板數據庫，還與所述工藝生成模塊和虛實融合模塊相連，用于讀取所述圖像采集模塊中的無人機零部件圖像的視頻流數據，將無人機零部件圖像與零部件三維模型數據庫中的無人機零部件三維模型相匹配，并基于模型模板匹配算法根據所識別的無人機零部件三維模型與三維模板數據庫中的三維鋪層模板進行匹配識別；還用于根據所識別的三維鋪層模板生成當前目標標識符傳遞給工藝生成模塊，并根據所述三維鋪層模板生成目標空間位姿，供虛實融合模塊調用；

所述工藝生成模塊具有鋪層工藝數據庫，還與所述虛實融合模塊相連，用于根據目標識別模塊所識別的無人機零部件三維模型與鋪層工藝數據庫中對應的復合材料鋪層工藝參數進行匹配識別，并將所識別的鋪層工藝參數與所述當前目標標識符進行匹配后，生成當前目標鋪層工藝數據供虛實融合模塊調用；

所述虛實融合模塊還與工藝推送模塊和交互控制模塊相連，用于從所述圖像采集模塊獲取實時視頻流數據、從所述目標識別模塊獲取目標空間位姿、從所述工藝生成模塊獲得當前目標鋪層工藝數據，逐幀生成實時的虛實融合鋪層工藝視圖；所述實時的虛實融合鋪層工藝視圖，包括當前目標鋪層實際狀態、當前目標完整虛擬狀態、當前目標待完成鋪層狀態及待完成鋪層工藝參數，其中，所述當前目標鋪層的實際狀態來自于實時的視頻流數據，所述當前目標完整虛擬狀態來自于目標識別模塊的目標空間位姿，所述當前目標待完成鋪層狀態通過虛實對比體現出來，待完成鋪層工藝參數來自于工藝生成模塊的當前目標鋪層工藝數據；

所述工藝推送模塊還與所述交互控制模塊相連，用于在接收到交互控制模塊交互指令時，從所述虛實融合模塊中調用虛實融合鋪層工藝視圖并發送給顯示模塊；

所述顯示模塊對所接收的虛實融合鋪層工藝視圖展示給操作人員；

所述交互控制模塊是操作人員的交互窗口，用于接收操作人員的鋪層指令，并根據鋪層指令生成虛實融合指令發送給所述虛實融合模塊，根據鋪層指令生成工藝推送指令發送給所述工藝推送模塊。

2.根據權利要求1所述的基于增強現實的無人機零部件手工鋪層輔助系統，其特征在于，所述虛實融合鋪層工藝視圖，實時保持對當前零部件位置與姿態的動態跟蹤，同時將三維工藝數據按照手工鋪層的要求渲染到視頻畫面中所呈現的空間位置，逐幀生成虛實融合場景的視圖數據。

3.根據權利要求1所述的基于增強現實的無人機零部件手工鋪層輔助系統，其特征在于，所述三維模板數據庫中，包括零部件的鋪層面片模型、工具資源模型、三維指示標記模型；所述目標空間位姿，至少包括零部件在無人機中所處位置及姿勢、鋪層結構、鋪層順序。

4.根據權利要求1所述的基于增強現實的無人機零部件手工鋪層輔助系統，其特征在于，所述鋪層工藝數據庫中至少包括布料編號、鋪層方向、鋪層厚度的工藝參數；所述當前目標鋪層工藝數據分為兩種類型，一類是三維模型數據，另一類是是無法模型化表述的工藝文字說明，兩類數據共同構成無人機零部件手工鋪層工藝的完整描述。

5.根據權利要求1所述的基于增強現實的無人機零部件手工鋪層輔助系統，其特征在于，所述手工鋪層輔助系統還包括：執行記錄模塊和分析決策模塊；其中，

所述執行記錄模塊與虛實融合模塊和顯示模塊相連，具有操作記錄數據庫，用于實時記錄虛實融合模塊中呈現的零部件鋪層過程，對鋪層操作進行記錄并將記錄數據存入操作記錄數據庫中；

所述分析決策模塊與執行記錄模塊中的操作記錄數據庫相連，還與工藝生成模塊中的鋪層工藝數據庫相連，用于在工藝人員指令下調用操作記錄數據庫中的鋪層歷史數據，對當前零部件的鋪層工藝進行分析、整理、優化，并將優化后的鋪層工藝參數存入鋪層工藝數據庫中與當前零件相對應的數據目錄下；

所述顯示模塊還用于鋪層操作歷史數據的查看。