[發明專利]用于自主裝配機器人的知識學習與推理執行系統

有效

• 申請號: 202110133643.3
• 申請日: 2021-02-01
• 公開（公告）號: CN112917516B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 楚中毅;康增信;孫富春;閔海波;劉沛;高正陽
• 申請（專利權）人: 北京航空航天大學;清華大學;北京愛賓果科技有限公司
• 主分類號: B25J19/00
• 分類號: B25J19/00;B25J11/00;B25J9/16
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 劉鳳玲

1.一種用于自主裝配機器人的知識學習與推理執行系統，其特征在于，包括：學習模塊、第一視覺相機、任務推理模塊、任務規劃模塊、協調控制模塊和機器人基元動作庫；

所述學習模塊、任務推理模塊、任務規劃模塊和協調控制模塊依次連接，所述第一視覺相機與所述任務推理模塊和任務規劃模塊連接；所述機器人基元動作庫與所述任務規劃模塊連接；

機器人基元動作庫用于存儲機器人的基元動作；

所述學習模塊用于獲取并解析裝配演示圖像，并將解析得到的裝配知識進行存儲；

所述第一視覺相機用于獲取操作臺上的視覺場景；

所述任務推理模塊用于根據所述操作臺上的視覺場景和所述裝配知識得到操作臺上的裝配需求；

所述任務規劃模塊用于根據所述裝配需求、所述操作臺上的視覺場景和所述機器人的基元動作生成動作序列執行路徑；

所述協調控制模塊用于根據所述動作序列執行路徑控制機器人進行裝配；

其中，所述任務規劃模塊包括任務規劃單元和路徑規劃單元；

所述任務規劃單元和路徑規劃單元連接；

所述任務規劃單元用于根據所述裝配需求和所述機器人的基元動作生成可執行的基元動作序列；

所述路徑規劃單元用于根據所述可執行的基元動作序列和所述操作臺上的視覺場景生成動作序列執行路徑；

所述任務推理模塊包括YOLO單元、點云生成單元、模板匹配單元、裝配關系估計單元和知識推理單元；

所述YOLO單元、點云生成單元、模板匹配單元、裝配關系估計單元和知識推理單元依次連接；

所述YOLO單元用于根據所述操作臺上的視覺場景識別圖像中待裝配零件2D邊界框；

所述點云生成單元用于根據所述2D邊界框生成待裝配零件的3D點云；

所述模板匹配單元用于將所述3D點云與零件模板進行匹配估計，得到各個零件的位姿；

所述裝配關系估計單元用于根據所述各個零件的位姿得到各個零件的當前裝配狀態；

所述知識推理單元用于根據所述當前裝配狀態與零件裝配關系得到操作臺上的裝配需求；

所述學習模塊包括第二視覺相機、知識解析單元和知識庫單元；

所述第二視覺相機、知識解析單元和知識庫單元依次連接；

所述第二視覺相機用于獲取人手的裝配演示圖像；

所述知識解析單元用于根據所述裝配演示圖像得到零件裝配關系；

所述知識庫單元用于存儲所述裝配關系；

所述知識解析單元包括YOLO子單元、點云生成子單元、模板匹配子單元和裝配關系估計子單元；

所述YOLO子單元、點云生成子單元、模板匹配子單元和裝配關系估計子單元依次連接；

所述YOLO子單元用于根據所述裝配演示圖像識別裝配零件2D邊界框；

所述點云生成子單元用于根據所述2D邊界框生成待裝配零件的3D點云；

所述模板匹配子單元用于根據所述3D點云與零件模板進行匹配，得到各個零件的位姿；

所述裝配關系估計子單元用于根據所述各個零件的位姿得到零件裝配關系。

2.根據權利要求1所述的用于自主裝配機器人的知識學習與推理執行系統，其特征在于，所述路徑規劃單元包括實例分割子單元和路徑規劃器；

所述實例分割子單元和路徑規劃器連接；

所述實例分割子單元用于根據所述操作臺上的視覺場景得到無零件或無障礙物的路徑參考空間；

所述路徑規劃器用于根據所述路徑參考空間和所述可執行的基元動作序列生成動作序列執行路徑。

3.根據權利要求1所述的用于自主裝配機器人的知識學習與推理執行系統，其特征在于，還包括機械臂，所述機械臂與所述協調控制模塊連接，所述機械臂用于機器人裝配。

4.根據權利要求3所述的用于自主裝配機器人的知識學習與推理執行系統，其特征在于，所述機械臂包括力傳感器和傳動機構。

5.根據權利要求4所述的用于自主裝配機器人的知識學習與推理執行系統，其特征在于，所述協調控制模塊包括動力學解算單元和控制器；

所述動力學解算單元用于將所述動作序列執行路徑轉化為力控制信號；

所述控制器用于根據所述力控制信號和所述力傳感器的反饋信號控制所述傳動機構進行機器人裝配。

6.根據權利要求1所述的用于自主裝配機器人的知識學習與推理執行系統，其特征在于，還包括判斷模塊，所述判斷模塊與所述任務推理模塊和協調控制模塊連接；

所述判斷模塊用于判斷操作臺上是否存在裝配需求，若否，則協調控制模塊停止工作，完成裝配任務。