[發明專利]一種移動投影式裝配工藝引導方法及系統

在審

• 申請號: 202211421876.4
• 申請日: 2022-11-14
• 公開（公告）號: CN115731170A
• 公開（公告）日: 2023-03-03
• 發明（設計）人: 孟少華;陳暢宇;劉廣通;孫剛;劉遠;傅浩;趙璐;牛鎏;胡瑞欽;章潛;田蔚瀚;趙科;周臘琴
• 申請（專利權）人: 北京衛星環境工程研究所
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/13;G06T7/73;G06T7/80;G06T17/00
• 代理公司: 北京志霖恒遠知識產權代理有限公司 11435
• 代理人: 郭棟梁

1.一種移動投影式裝配工藝引導系統，其特征在于，包括：

工藝設計模塊，用于生成裝配體三維結構化工藝數據包，所述工藝設計模塊讀入帶結構樹的裝配體三維模型和產品屬性表，依據結構樹定義的裝配順序為待裝件生成工序號，并生成工序內容，工序內容包括工藝引導模型、投影面片、標注信息、最佳視點；所述工藝引導模型為當前工序實施前對應的裝配基礎件模型，用于對基礎件進行跟蹤與定位；所述投影面片是指待裝件在投影平面上的腳印圖和指示標識；所述標注信息是對待裝件裝配工藝的文字說明，其通過產品屬性表獲得；所述最佳視點是虛擬相機相對于基礎件的位姿轉換矩陣，可以通過視點生成算法獲得，保證投影信息清晰、準確呈現在裝配對象上；最后輸出為Json文件和STL文件，Json文件分為工序和工步兩個層級，工序級包含工序號、工藝引導模型名稱、最佳投影視點，工步級包含了投影面片名稱、工藝標注信息，STL文件按工序任務進行組織，與Json文件中的名稱一一對應；

工藝投影引導模塊，用于將三維結構化工藝投影至裝配現場，所述工藝投影引導模塊包括移動機器人、投影裝置、相機1、計算機、人機交互單元、目標跟蹤單元、投影路徑控制單元；所述移動機器人末端與投影裝置、相機1固連，投影裝置接收人機交互單元指令，用于將標注信息和投影面片呈現在基礎件上，相機1用于采集裝配現場圖像，并傳輸給目標跟蹤單元，計算機與移動機器人、投影裝置和相機1電氣連接，運行人機交互單元、目標跟蹤單元、投影路徑控制單元，人機交互單元接收工藝設計模塊輸出的Json文件和STL文件，根據結構樹定義的裝配順序解析各工序對應的工藝引導模型、投影面片、標注信息、最佳視點，將工藝引導模型傳輸給目標跟蹤單元，將投影面片和標注信息發布給投影裝置，將最佳視點傳輸給投影路徑控制單元，目標跟蹤單元提取工藝引導模型和裝配現場圖像的輪廓信息進行匹配，獲得相機1的實時位姿矩陣，并將其傳輸給投影路徑控制單元，投影路徑控制單元根據相機1當前的位姿規劃運動路徑，并驅動機器人將相機1移動至最佳視點位置；

狀態檢測模塊，所述狀態檢測模塊包括相機2、裝配狀態識別單元，所述相機2與所述工藝投影引導模塊中的投影裝置和相機1一起固連在移動機器人末端，相互位姿轉換關系可以通過標定獲得，所述裝配狀態識別單元用于對裝配結果進行檢驗；

所述產品屬性表包含零部件ID、名稱和工藝信息，

所述工藝信息為測力要求、膠封要求和導熱硅脂涂覆要求。

2.根據權利要求1所述的移動投影式裝配工藝引導系統，其特征在于，所述裝配體三維模型為CAD模型。

3.根據權利要求1所述的移動投影式裝配工藝引導系統，其特征在于，所述指示標識包括R點、安裝順序數字和位置指示箭頭。

4.根據權利要求1所述的移動投影式裝配工藝引導系統，其特征在于，所述最佳視點可通過算法實現，也可人工指定。

5.一種移動投影式裝配工藝引導方法，包括以下步驟：

1）讀取裝配體信息，在工藝設計模塊中導入帶結構樹的裝配體三維模型，讀入包含待裝件ID和工藝信息的產品屬性表，將待裝件的三維模型與工藝信息進行關聯；

2）生成裝配體的工藝標注信息，建立裝配工序任務，在裝配結構樹上選擇待裝件，定義需要投影的待裝件的工藝標注信息，包括待裝件名稱、代號、緊固件規格及數量、膠封要求、測力要求；

3）生成待裝件的投影面片，選擇待裝件作為被投影對象，解析待裝件的三角面塊模型，選擇基礎件上安裝位置作為投影平面，將待裝件三角面塊的頂點投影至投影平面上，重繪投影圖像即為待裝件的投影腳印圖，根據模型注釋指定待裝件R點，添加位置指示箭頭、安裝順序數字等指示類標識，重復上述步驟，生成相應的投影面片；

4）設置待裝件的最佳投影視點，讀取投影裝置、相機1、相機2以及機器人的標定配置文件，以投影裝置視角查看投影效果，對遮擋、堆疊等情況進行視角調整，投影裝置相對于待裝件的位姿矩陣即為最佳視點；

5）設置工藝引導模型，選擇裝配基礎件作為工藝引導模型，用于對裝配現場的跟蹤與定位；選擇裝配基礎件與待裝件組合體作為檢驗模型，用于裝配狀態識別與判讀；

6）三維工藝數據包組冊，定義待裝件的工藝引導序列，將工藝標注信息、投影面片、最佳視點信息進行分步組裝，與工藝引導模型、檢驗模型合并為結構化的工序任務數據包，設置裝配體的裝配工藝規程，將工序任務數據包按照裝配步驟進行排序，生成三維工藝數據包；

7）解析三維工藝數據包，人機交互單元讀取三維工藝數據包，提取當前工序的工藝引導模型，并傳輸給目標跟蹤單元；

8）工藝引導模型初對準，在人機交互單元中，手工調整工藝引導模型的大小和位姿，使其與相機1實時采集的視頻中裝配基礎件初步對準；

9）裝配基礎件模型精確對準，目標跟蹤單元分別提取工藝引導模型與裝配基礎件的輪廓信息，并將虛實輪廓進行匹配，估算出相機1相對于裝配基礎件的位姿轉換矩陣，并傳輸給路徑控制單元；

10）投影路徑規劃與執行，路徑控制單元以相機1當前的位姿為初始位姿，以最佳投影視點為目標位姿，規劃出機器人運動路徑，驅動機器人將投影裝置移動至目標位姿，在此過程中，目標跟蹤單元實時估算相機1的位姿轉換矩陣，并對機器人運動路徑進行修正，直至位姿偏差小于預設值；

11）裝配工藝投影引導，投影裝置將工藝信息與投影面片投影至裝配基礎件對應位置，操作人員按照引導信息完成待裝件的裝配；

12）裝配狀態在線檢測，相機2采集裝配現場圖像，裝配狀態識別單元分別提取現場圖像與檢驗模型的輪廓信息，通過輪廓匹配算法判斷裝配待裝件是否存在錯漏裝情況；

13）重復步驟九至十二，直至所有零部件裝配完成；

所述引導信息用于引導待裝件的裝配，其包括腳印圖、標注信息和指示標識。