[發明專利]基于激光雷達和雙目相機數據融合的襯板裝配系統及方法

有效

• 申請號: 202010161093.1
• 申請日: 2020-03-10
• 公開（公告）號: CN111340834B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 宋銳;何萱;王新立;李鳳鳴;王偉;李貽斌
• 申請（專利權）人: 山東大學
• 主分類號: G06T7/13
• 分類號: G06T7/13;G06T7/33;G06T7/73;G06T5/00;G06V10/80;B23P19/00
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李琳

本公開提供了一種基于激光雷達和雙目相機數據融合的襯板裝配系統及方法，本公開基于激光雷達獲取的磨機內部實時點云，以及包含襯板信息的深度圖像，進而確定襯板的實時位姿信息和耳部位姿，生成重載機械臂調整襯板位姿的控制指令，以進行襯板裝配，直至完成裝配。能夠完成對于磨機內部的實時環境建模，并自動完成襯板的裝配，節約了大量人工；本公開具有良好的可移植性，可以直接移植到多種惡劣情況下使用。

技術領域

本公開屬于襯板裝配技術領域，涉及一種基于激光雷達和雙目相機數據融合的襯板裝配系統及方法。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術信息，不必然構成在先技術。

近年來，重載機械臂在全球工業領域中的重型工件裝配以及重型裝備的維護作業等方面愈發呈現出不可替代的作用，在礦山冶金等領域更是成為大負載作業效率提升、生產安全保障、人工成本降低等重大需求的核心必備裝備。同時，國內外也普遍缺乏領域相關的高性能大負載特種機器人，其集成、制造與測試一體化解決方案極為匱乏，相關研究極為不足，液壓重載機械臂視覺伺服等關鍵技術尚未取得重大突破，嚴重制約了重載機械臂的發展。

發明內容

本公開為了解決上述問題，提出了一種基于激光雷達和雙目相機數據融合的襯板裝配系統及方法，本公開能夠自動完成襯板的裝配，節約了大量人工。

根據一些實施例，本公開采用如下技術方案：

一種基于激光雷達和雙目相機數據融合的襯板裝配系統，包括：激光雷達、雙目相機、磨機內部環境建模模塊、襯板抓舉模塊和襯板裝配模塊，其中：

所述激光雷達設置于重載機械臂的前端，被配置為能夠跟隨機械臂進入磨機內部，獲取磨機內部實時點云；

所述雙目相機設置于重載機械臂的前端，被配置為獲取包含襯板信息的深度圖像；

所述磨機內部環境建模模塊，被配置為獲取激光雷達的實時點云數據，進行校準，得到不同幀下經過校準的實時點云集，拼接出實時的磨機內部的三維點云，并進行點云配準，使得點云收斂在同一個坐標系下，重建出整個磨機內部的實時點云；通過模板匹配從三維點云模型中進行分割，并擬合襯板的待裝配區域，得出待裝配區域的世界坐標系坐標；

所述襯板抓舉模塊，被配置為獲取重載機械臂抵達抓舉襯板區域時采集到的深度圖像，進行圖像預處理，提取出襯板的耳部的精確區域，解算出耳部位姿，以供機械臂基于耳部位姿信息抓舉襯板；

襯板裝配模塊，被配置為通過提取磨機內部環境建模模塊確定的位姿信息，估計襯板的實時位姿信息，結合襯板抓舉模塊確定的耳部位姿，生成重載機械臂調整襯板位姿的控制指令，以進行襯板裝配，直至完成裝配。

作為可選擇的實施方式，所述磨機內部環境建模模塊、所述襯板抓舉模塊與襯板裝配模塊通信，且三個模塊均與重載機械臂的工控機通信。

一種基于激光雷達和雙目相機數據融合的襯板裝配方法，包括：

獲取包含襯板的圖像數據，以及進入磨機內部時獲取的實時點云數據；

對獲取激光雷達的實時點云數據進行校準，得到不同幀下經過校準的實時點云集，拼接出實時的磨機內部的三維點云，并進行點云配準，使得點云收斂在同一個坐標系下，重建出整個磨機內部的實時點云；通過模板匹配從三維點云模型中進行分割，并擬合襯板的待裝配區域，得出待裝配區域的世界坐標系坐標；

根據重載機械臂抵達抓舉襯板區域時采集到的深度圖像，進行圖像預處理，提取出襯板的耳部的精確區域，解算出耳部位姿，以供機械臂基于耳部位姿信息抓舉襯板；

利用確定的位姿信息，估計襯板的實時位姿信息，結合耳部位姿，生成重載機械臂調整襯板位姿的控制指令，以進行襯板裝配，直至完成裝配。