[發明專利]機器人圖像采集方法及裝置、電子設備、存儲介質

有效

• 申請號: 202110853669.5
• 申請日: 2021-07-28
• 公開（公告）號: CN113343944B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 胡鯤;盧維;沈焱勇;王政;李銘
• 申請（專利權）人: 浙江華睿科技股份有限公司
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/26;G06V10/774;G06V10/75;G06V10/82;H04N5/232;G06N3/04
• 代理公司: 北京樂知新創知識產權代理事務所(普通合伙) 11734
• 代理人: 江宇

1.一種機器人圖像采集方法，其特征在于，為機器人設置拓撲行進地圖，機器人需要按照設計的拓撲地圖進行行駛，在行進路線上，設置相應的路標點；在機器人的任務路線鋪設有導引線，所述導引線包括用于指示所述機器人的行進方向的第一路標點和用于指示所述機器人進行視覺導航模板采集的第二路標點；所述方法包括：

在所述機器人運動時，采集所述機器人行進過程中的圖像，并對采集到的圖像中的標識符進行識別；

若在當前采集到的圖像中識別到的標識符為所述第一路標點，則基于所述第一路標點確定所述機器人的行進方向，并存儲當前采集到的圖像；

若在當前采集到的圖像中識別到的標識符為所述第二路標點，則維持當前行進方向繼續運動，并存儲當前采集到的圖像；

對存儲的采集圖像進行特征點提取，基于所提取的特征點進行匹配，基于匹配的特征點之間的映射關系，對多張包含相同路標點的圖像進行拼接，得到拼接圖像；基于所述拼接圖像中的路標點的坐標，以及每幀圖像的大小，對所述拼接圖像進行裁剪；將裁剪后的包含各路標點的圖像，作為視覺導航的圖像模板；

對所述圖像模板中的路標點進行特征點檢測并提取描述子，設置數據結構體存儲所檢測到的特征點集及描述子，路標點編號為i；

建立與i之間的映射關系；

對映射關系進行序列化操作，以二進制形式對中的數據進行編碼壓縮，作為機器人的圖像模板庫。

2.根據權利要求1所述的方法，其特征在于，所述對采集到的圖像中的標識符進行識別，包括：

對于所采集的每一幀圖像，基于預先訓練的標識符識別模型，對所述每一幀圖像進行識別預測，確定圖像中包含的標識符為所述第一路標點或為所述第二路標點。

3.根據權利要求1或2所述的方法，其特征在于，所述方法還包括：

采集包含各種路標點的圖像，進行圖像預處理后作為訓練數據，輸入至神經網絡-多層感知器ANN_MLP進行訓練，獲取訓練權重偏移的參數，基于所述參數得到識別各種路標點的標識符識別模型。

4.根據權利要求1所述的方法，其特征在于，所述基于所述拼接圖像中的路標點的坐標，以及每幀圖像的大小，對所述拼接圖像進行裁剪，包括：

以路標點的坐標為中心，以采集的每幀圖像的長寬為基準確定矩形區域，將所述拼接圖像對應的矩形區域作為裁剪后的圖像。

5.一種機器人圖像采集裝置，其特征在于，為機器人設置拓撲行進地圖，機器人需要按照設計的拓撲地圖進行行駛，在行進路線上，設置相應的路標點；在機器人的任務路線鋪設有導引線，所述導引線包括用于指示所述機器人的行進方向的第一路標點和用于指示所述機器人進行視覺導航模板采集的第二路標點；所述裝置包括：

采集單元，用于在所述機器人運動時，采集所述機器人行進過程中的圖像；

識別單元，用于對采集到的圖像中的標識符進行識別；

控制單元，若所述識別單元在當前采集到的圖像中識別到的標識符為所述第一路標點，則基于所述第一路標點確定所述機器人的行進方向，并存儲當前采集到的圖像；若所述識別單元在當前采集到的圖像中識別到的標識符為所述第二路標點，則維持當前行進方向繼續運動，并存儲當前采集到的圖像；

拼接單元，用于對存儲的采集圖像進行特征點提取，基于所提取的特征點進行匹配，基于匹配的特征點之間的映射關系，對多張包含相同路標點的圖像進行拼接，得到拼接圖像；

裁剪單元，用于基于所述拼接圖像中的路標點的坐標，以及每幀圖像的大小，對所述拼接圖像進行裁剪；

生成單元，用于將裁剪后的包含各路標點的圖像，作為視覺導航的圖像模板；

壓縮單元，用于對所述圖像模板中的路標點進行特征點檢測并提取描述子，設置數據結構體存儲所檢測到的特征點集及描述子，路標點編號為i；

建立與i之間的映射關系；

對映射關系進行序列化操作，以二進制形式對中的數據進行編碼壓縮，作為機器人的圖像模板庫。

6.根據權利要求5所述的裝置，其特征在于，所述識別單元，還用于：

對于所采集的每一幀圖像，基于預先訓練的標識符識別模型，對所述每一幀圖像進行識別預測，確定圖像中包含的標識符為所述第一路標點或為所述第二路標點。