[發明專利]一種基于視覺定位的機械手作業路徑規劃方法及裝置

有效

• 申請號: 202110301062.6
• 申請日: 2021-03-22
• 公開（公告）號: CN112677159B
• 公開（公告）日: 2023-02-28
• 發明（設計）人: 寇慧;劉瑞;胡國權;程瑞瑞
• 申請（專利權）人: 佛山隆深機器人有限公司
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 廣東廣盈專利商標事務所(普通合伙) 44339
• 代理人: 李俊

1.一種基于視覺定位的機械手作業路徑規劃方法，其特征在于，所述方法包括：

啟動設置在機械手上的視覺設備對所述機械手作業范圍內的工作臺內的待作業目標對象進行匹配識別；

在匹配到待作業目標對象時，對所述待作業目標對象進行定位處理，獲得待作業目標的位置信息；

基于所述視覺設備獲得所述待作業目標對象與周邊各個障礙物的相對位置信息及各個障礙物大小關系；

基于待作業目標的位置信息、所述待作業目標對象與周邊各個障礙物的相對位置信息、各個障礙物大小關系、工作臺在機械手工作范圍內移動速度及作業內容形成初始作業規劃路徑；

所述機械手在基于所述初始作業規劃路徑對所述待作業目標對象進行作業時，基于所述視覺設備對所述待作業目標對象進行實時定位，并基于實時位置信息對所述初始作業規劃路徑進行更新；

所述啟動設置在機械手上的視覺設備對所述機械手作業范圍內的工作臺內的待作業目標對象進行匹配識別，包括：

所述機械手的控制模塊接收控制端基于文件傳輸界面發送的控制文件；

所述機械手的控制模塊對所述控制文件進行解析，獲得控制文件內的待作業目標對象及作業內容；

啟動設置在所述機械手上的視覺設備對所述機械手作業范圍內的工作臺進行實時視頻監測；

將實時視頻監測內的目標對象與所述控制文件內的待作業目標對象進行匹配識別；

所述文件傳輸界面包括視頻窗口界面和文件上傳界面；

在文件傳輸界面為視頻窗口界面時，控制端采用IP流媒體的方式根據DiiVA技術發送控制文件；在文件傳輸界面為文件上傳界面時，控制端根據文件上傳界面發送控制文件；采用實時傳輸協議或者傳輸控制協議對數據進行實時傳輸差錯控制；

所述基于所述視覺設備獲得所述待作業目標對象與周邊各個障礙物的相對位置信息及各個障礙物大小關系，包括：

基于所述視覺設備與所述機械手形成的手眼系統對所述待作業目標對象周邊的各個障礙物進行相對位置定位識別，獲得所述待作業目標對象與周邊各個障礙物在所述手眼系統內的相對坐標位置信息；

基于各個障礙物在所述手眼系統內所占的坐標位置信息進行三維建模，獲得各個障礙物的三維模型；

基于所述各個障礙物的三維模型獲得各個障礙物大小關系，其中所述各個障礙物的大小關系包括各個障礙物的長寬高關系；

所述基于待作業目標的位置信息、所述待作業目標對象與周邊各個障礙物的相對位置信息、各個障礙物大小關系、工作臺在機械手工作范圍內移動速度及作業內容形成初始作業規劃路徑，包括：

所述機械手的控制模塊在獲得待作業目標的位置信息、所述待作業目標對象與周邊各個障礙物的相對位置信息、各個障礙物大小關系、工作臺在機械手工作范圍內移動速度及作業內容后，基于所述待作業目標的位置信息、所述待作業目標對象與周邊各個障礙物的相對位置信息、各個障礙物大小關系、工作臺在機械手工作范圍內移動速度及作業內容形成初始作業規劃路徑；

所述工作臺在機械手工作范圍內移動速度為所述機械手所控制的作業區域對應的流水線移動速度；

所述對所述待作業目標對象進行定位處理，獲得待作業目標的位置信息，包括：

基于所述視覺設備與所述機械手形成的手眼系統對所述待作業目標對象進行定位處理，獲得待作業目標在所述手眼系統內的坐標位置信息；

在匹配到待作業目標對象時，通過視覺設備與機械手形成的手眼系統構建相關的坐標系，假設視覺設備中的雙攝像頭設備的一個攝像頭標記為O1,另一個標記為O2；以其中一個攝像頭標記為坐標系的坐標原點，假設以O1為坐標系的坐標原點，兩個攝像頭設備之間的連線為X軸，兩點之間的距離為b，在雙攝像頭設備中，X軸和Y軸垂直，采用右手準則確定深度方向的Z軸，雙攝像頭設備的有效視場的高度與單臺攝像頭設備相同；在兩個攝像頭任意擺放時，在坐標系XOZ平面內沿Z軸方向連線以形成雙目系統的有效視場，其寬度為w，假設任意一個目標點P(x,y,z)在雙目攝像頭設備中的兩個攝像頭采集圖像上的投影分別為p1(u1,v1)，p2(u2,v2)，P點相對于雙攝像頭設備透視中心點O1和O2的張角分別為a1和a2，對模型的簡化，假設攝像頭具有相同的配置，且對稱放置，由幾何關系即可計算出P點的坐標P(x,y,z)的值，即可得到待作業目標在手眼系統內的坐標位置信息；

所述機械手在基于所述初始作業規劃路徑對所述待作業目標對象進行作業時，基于所述視覺設備對所述待作業目標對象進行實時定位，包括：

機械手在基于所述初始作業規劃路徑對所述待作業目標對象進行作業時，實時通過所述視覺設備與所述機械手形成的手眼系統對所述待作業目標對象進行實時定位。