[發明專利]基于激光雷達和雙目相機數據融合的襯板裝配系統及方法

有效

• 申請號: 202010161093.1
• 申請日: 2020-03-10
• 公開（公告）號: CN111340834B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 宋銳;何萱;王新立;李鳳鳴;王偉;李貽斌
• 申請（專利權）人: 山東大學
• 主分類號: G06T7/13
• 分類號: G06T7/13;G06T7/33;G06T7/73;G06T5/00;G06V10/80;B23P19/00
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李琳

1.一種基于激光雷達和雙目相機數據融合的襯板裝配系統，其特征是：包括：激光雷達、雙目相機、磨機內部環境建模模塊、襯板抓舉模塊和襯板裝配模塊，其中：

所述激光雷達設置于重載機械臂的前端，被配置為能夠跟隨機械臂進入磨機內部，獲取磨機內部實時點云；

所述雙目相機設置于重載機械臂的前端，被配置為獲取包含襯板信息的深度圖像；

所述磨機內部環境建模模塊，被配置為獲取激光雷達的實時點云數據，進行校準，得到不同幀下經過校準的實時點云集，拼接出實時的磨機內部的三維點云，并進行點云配準，使得點云收斂在同一個坐標系下，重建出整個磨機內部的實時點云；通過模板匹配從三維點云模型中進行分割，并擬合襯板的待裝配區域，得出待裝配區域的世界坐標系坐標；

所述襯板抓舉模塊，被配置為獲取重載機械臂抵達抓舉襯板區域時采集到的深度圖像，進行圖像預處理，提取出襯板的耳部的精確區域，解算出耳部位姿，以供機械臂基于耳部位姿信息抓舉襯板；

襯板裝配模塊，被配置為通過提取磨機內部環境建模模塊確定的位姿信息，估計襯板的實時位姿信息，結合襯板抓舉模塊確定的耳部位姿，生成重載機械臂調整襯板位姿的控制指令，以進行襯板裝配，直至完成裝配。

2.如權利要求1所述的一種基于激光雷達和雙目相機數據融合的襯板裝配系統，其特征是：所述磨機內部環境建模模塊、所述襯板抓舉模塊與襯板裝配模塊通信，且三個模塊均與重載機械臂的工控機通信。

3.一種基于激光雷達和雙目相機數據融合的襯板裝配方法，其特征是：包括：

獲取包含襯板的圖像數據，以及進入磨機內部時獲取的實時點云數據；

對獲取激光雷達的實時點云數據進行校準，得到不同幀下經過校準的實時點云集，拼接出實時的磨機內部的三維點云，并進行點云配準，使得點云收斂在同一個坐標系下，重建出整個磨機內部的實時點云；通過模板匹配從三維點云模型中進行分割，并擬合襯板的待裝配區域，得出待裝配區域的世界坐標系坐標；

根據重載機械臂抵達抓舉襯板區域時采集到的深度圖像，進行圖像預處理，提取出襯板的耳部的精確區域，解算出耳部位姿，以供機械臂基于耳部位姿信息抓舉襯板；

利用確定的位姿信息，估計襯板的實時位姿信息，結合耳部位姿，生成重載機械臂調整襯板位姿的控制指令，以進行襯板裝配，直至完成裝配。

4.如權利要求3所述的一種基于激光雷達和雙目相機數據融合的襯板裝配方法，其特征是：拼接實時的磨機內部的三維點云的具體操作步驟包括：

對實時點云進行校準，得到不同幀下經過校準的實時點云集，點云集中存儲返回的各個點的三維坐標(x,y,z),通過前一幀的點云集A，與后一幀的點云集B，通過兩個點云數據集中的臨近點迭代，拼接出實時的磨機內部的三維點云。

5.如權利要求3所述的一種基于激光雷達和雙目相機數據融合的襯板裝配方法，其特征是：點云配準的具體過程包括：

對于每一幀的點云數據首先進行分割處理，以區分不同類型的點云數據，從分割完成的點云之中識別出正方體的靶標，將正方體點云集合從點云集合中分割出來，標注目標靶標，估計出不同幀下的點云的變換矩陣，通過ICP匹配算法對于不同幀的點云集合進行匹配，使得點云收斂在同一個坐標系下，重建出整個磨機內部的實時點云。

6.如權利要求3所述的一種基于激光雷達和雙目相機數據融合的襯板裝配方法，其特征是：對深度圖像進行預處理的過程包括：

采用雙邊濾波去除圖像中噪聲，基于輪廓的canny算法檢測出襯板的輪廓信息，找到圖像灰度沿著兩個方向的導數，計算得出各個梯度的幅值以及方向，確定了邊緣的方向，對圖像進行遍歷，對每個像素點進行判斷，為邊緣點保留，非邊緣點剔除，分割出僅包含襯板上深度圖像。

7.如權利要求3所述的一種基于激光雷達和雙目相機數據融合的襯板裝配方法，其特征是：利用CNN+FCN網絡的深度學習算法識別襯板耳部。