[發明專利]一種基于Hololens深度數據的裝配指導方法及系統

有效

• 申請號: 202110892450.6
• 申請日: 2021-08-04
• 公開（公告）號: CN113706689B
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 周光輝;肖佳誠;張超
• 申請（專利權）人: 西安交通大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/11;G06V10/46
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 高博

本發明公開了一種基于Hololens深度數據的裝配指導方法及系統，將Hololens設備采集的真實環境的深度數據轉換為世界坐標系下的點云模型；進行標注后將點云轉換成標準數據集格式；構建待裝配的零件三維模型；將構建的零件三維模型轉換成點云模型；對轉換的零件點云模型進行空間坐標變換并與多個場景點云數據合成，將合成后的點云轉換成標準數據集格式；和合成的標準數據集一起輸入改進的Votenet網絡中進行訓練，保存訓練結果并結合ICP方法進行輔助校準；Hololens設備將真實場景的深度數據傳輸給遠程服務器，輸入到Votenet網絡中，輸出檢測結果；以全息影像的形式展示給用戶，實現裝配指導。本發明有效地將輔助裝配信息以全息影像的形式推送給裝配人員，實現裝配引導提高裝配效率。

技術領域

本發明屬于智能制造與數字化技術領域，具體涉及一種基于Hololens深度數據的裝配指導方法及系統。

背景技術

裝配是指按照一定的工藝流程將零件組裝成完整產品的一系列操作活動，是產品生命周期中的一個重要環節。目前，產品的多樣性，以及復雜產品裝配工序的繁瑣性，使得裝配人員不得不借助紙質的說明手冊或者電子文檔進行裝配引導。然而，從大量的文字信息中提取出有效的引導信息，需要耗費大量的時間，同時對裝配人員的理解和認知水平也有一定的要求。因此，如何提供一種更易于理解，效率更高的裝配指導模式成為一個關鍵的問題。

增強現實技術是一種把三維跟蹤技術、實時交互技術和虛實結合技術作為特性，通過疊加多媒體信息到真實環境中的融合技術。將增強現實技術用于復雜產品裝配中，能夠使用戶同時對虛擬對象和真實物體進行操作。在這樣一種虛實融合的環境下，用戶的感知能力得以增強同時能夠獲得更好的交互體驗，用戶在獲得有效的輔助裝配信息如裝配順序、裝備位置、裝配要求等的情況下，不會影響對真實物理零件的裝配操作，從而提高裝配效率，減少裝配錯誤。

Hololens作為一種頭戴式的增強現實設備，便于攜帶同時可以解放用戶的雙手，十分適合用于裝配指導。然而，目前多數基于Hololens開發的增強現實應用還是利用Vuforia等SDK，基于標志物進行三維注冊，將虛擬信息疊加到真實物體上。在實際裝配過程中，通常對零件表面光潔度有要求，并且裝配工位可能會發生變化，因而預置標志物的方法存在很多限制。

發明內容

本發明所要解決的技術問題在于針對上述現有技術中的不足，提供一種基于Hololens深度數據的裝配指導方法及系統，利用Hololens自帶的深度傳感器采集環境數據，重新構建環境的點云模型，識別出待裝配的零件類別及其空間位姿，從而將相應的輔助裝配信息以全息影像的形式推送給裝配人員，實現裝配指導提高裝配效率。

本發明采用以下技術方案：

一種基于Hololens深度數據的裝配指導方法，包括以下步驟：

S1、將Hololens設備采集的真實環境的深度數據轉換為世界坐標系下的點云模型；

S2、對步驟S1得到的點云模型進行標注，根據標注信息將點云轉換成標準數據集格式；

S3、構建待裝配的零件三維模型；

S4、將步驟S3構建的零件三維模型轉換成點云模型；

S5、對步驟S4轉換的零件點云模型進行空間坐標變換并與多個場景點云數據合成，將合成后的點云轉換成標準數據集格式；

S6、將步驟S2轉換的標準數據集和步驟S5合成的標準數據集一起輸入改進的Votenet網絡中進行訓練，保存訓練結果并結合ICP方法進行輔助校準；

S7、Hololens設備將真實場景的深度數據傳輸給遠程服務器，遠程服務器對深度數據進行預處理并輸入到步驟S6訓練好的Votenet網絡中，輸出檢測結果；

S8、Hololens設備獲得步驟S7輸出的檢測結果，將對應的輔助裝配信息以全息影像的形式展示給用戶，實現裝配指導。