[發明專利]基于深度相機的智能化鋪磚實現方法及裝置、鋪磚機器人

在審

• 申請號: 202211089197.1
• 申請日: 2022-09-07
• 公開（公告）號: CN115726249A
• 公開（公告）日: 2023-03-03
• 發明（設計）人: 黃以愷;趙爭兵;黃舜勇;孫妍
• 申請（專利權）人: 廣東博智林機器人有限公司
• 主分類號: E01C19/52
• 分類號: E01C19/52;G06T7/00;B25J9/08;B25J9/16;B25J11/00;B25J19/02
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 肖宇揚

1.一種基于深度相機的智能化鋪磚實現方法，其特征在于，所述方法應用于鋪磚機器人，所述鋪磚機器人上安裝有機械手及深度相機，所述深度相機安裝在所述機械手的末端且隨所述機械手移動，所述方法包括：

獲取所述深度相機采集到的鋪磚區域圖像，對所述鋪磚區域圖像進行分析，得到圖像分析結果，并根據所述圖像分析結果判斷所述鋪磚區域圖像中是否包括鋪磚標記線，得到判斷結果；

獲取與所述判斷結果相匹配的鋪磚信息確定方式，并基于所述鋪磚信息確定方式確定待鋪設磚塊對應的中心點信息；

根據所述待鋪設磚塊對應的中心點信息控制所述機械手執行相匹配的鋪磚操作。

2.根據權利要求1所述的基于深度相機的智能化鋪磚實現方法，其特征在于，所述基于所述鋪磚信息確定方式確定待鋪設磚塊對應的中心點信息，包括：

基于所述鋪磚信息確定方式確定待建立的中心點坐標系的原點及三維坐標軸，并基于確定出的所述原點及所述三維坐標軸創建待鋪設磚塊對應的中心點坐標系，作為所述待鋪設磚塊對應的中心點信息；

以及，所述根據所述待鋪設磚塊對應的中心點信息控制所述機械手執行相匹配的鋪磚操作，包括：

根據所述待鋪設磚塊對應的中心點信息，生成所述機械手對應的鋪磚控制參數，并基于所述鋪磚控制參數控制所述機械手執行所述待鋪設磚塊對應的鋪磚操作。

3.根據權利要求2所述的基于深度相機的智能化鋪磚實現方法，其特征在于，當所述判斷結果表示采集到的所述鋪磚區域圖像包括所述鋪磚標記線時，所述鋪磚信息確定方式為基于所述鋪磚標記線的看線鋪磚方式；

當所述判斷結果表示采集到的所述鋪磚區域圖像未包括所述鋪磚標記線時，所述鋪磚信息確定方式為基于已鋪設磚塊的看磚鋪磚方式。

4.根據權利要求3所述的基于深度相機的智能化鋪磚實現方法，其特征在于，所述基于所述鋪磚信息確定方式確定待建立的中心點坐標系的原點及三維坐標軸，并基于確定出的所述原點及所述三維坐標軸創建待鋪設磚塊對應的中心點坐標系，作為所述待鋪設磚塊對應的中心點信息，包括：

當所述鋪磚信息確定方式為所述看磚鋪磚方式時，基于所述鋪磚區域圖像識別所述深度相機的視野采集范圍內的所有已鋪設磚塊；

對于每個所述已鋪設磚塊，確定該已鋪設磚塊對應的目標矩形框的四個磚角點所對應的坐標信息；

根據所有所述磚角點對應的坐標信息，將所有所述已鋪設磚塊對應的目標矩形框的四個磚角點擬合成目標平面，并將所有所述磚角點按照法向量垂直投射至所述目標平面，得到所有所述磚角點在所述目標平面上的所有投影磚角點；

對于每個所述已鋪設磚塊，根據對應的四個投影磚角點按照橫向、縱向擬合出對應的網格，并根據鋪磚規劃計算出待鋪設磚塊的位置編號；

根據所述位置編號以及擬合出的所有所述網格確定與所述位置編號相匹配的兩條目標橫向直線以及兩條目標縱向直線，根據兩條所述目標橫向直線與兩條所述目標縱向直線確定出所述待鋪設磚塊的四個目標磚角點，基于四個所述目標磚角點確定所述待鋪設磚塊的中心點，以所述待鋪設磚塊的中心點為原點、以橫向為X軸、以縱向為Y軸創建所述待鋪設磚塊對應的中心點坐標系，作為所述待鋪設磚塊對應的中心點信息。

5.根據權利要求4所述的基于深度相機的智能化鋪磚實現方法，其特征在于，所述對于每個所述已鋪設磚塊，確定該已鋪設磚塊對應的目標矩形框的四個磚角點所對應的坐標信息，包括：

對于每個所述已鋪設磚塊，從所述深度相機采集到的所有點云中識別出落入到該已鋪設磚塊對應的目標矩形框中的所有目標點云，將落入到該已鋪設磚塊對應的目標矩形框中的所有目標點云擬合成平面方程，并將該已鋪設磚塊對應的目標矩形框的四個磚角點由像素坐標系映射至彩色相機坐標系，得到映射結果，根據由落入到該已鋪設磚塊對應的目標矩形框中的所有目標點云擬合成的平面方程以及所述映射結果確定該已鋪設磚塊對應的目標矩形框的四個磚角點對應的坐標信息。