[發明專利]一種基于視覺深度分析的機器人主動安全防護方法及系統

在審

• 申請號: 202110068272.5
• 申請日: 2021-01-19
• 公開（公告）號: CN112883792A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 王曉飛;劉康康;王龍祥
• 申請（專利權）人: 武漢海默機器人有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/11;G06T7/50;G06T7/70;G06T7/90;G08B21/02;H04N7/18
• 代理公司: 上海精晟知識產權代理有限公司 31253
• 代理人: 劉寧

1.一種基于視覺深度分析的機器人主動安全防護方法，其特征在于：包括如下步驟：

S1、彩色深度相機實時拍攝，實時采集的圖像進行語義分割后，融合彩色及深度圖像信息對識別出的物體進行定位；

S2、經過運動學算法可獲知機器人實時運動數據，計算出機器人實時的空間位置信息；

S3、將識別出的物體空間位置與機器人運動實時空間位置進行實時判斷及預測分析，當計算出物體位置與機器人位置過近或即將發生剛體碰撞時，定義為安全隱患，發送軟急停信號給機器人安全操作系統，停止機器人運動、機器人作業暫停；

S4、甄別出安全隱患的同時，進行實時視頻監控記錄、發送安全隱患提醒及警告，等待人工處理；

S5、人工處理進行視頻監控記錄的備份、進行異常檢查及潛在隱患已清除的實際確認；隱患清除后，機器人從中斷位置恢復加工作業。

2.根據權利要求1所述的一種基于視覺深度分析的機器人主動安全防護方法，其特征在于：所述步驟S1中彩色深度相機獲取的彩色圖像數據用于深度學習訓練的識別及提高識別準確度。

3.根據權利要求1所述的一種基于視覺深度分析的機器人主動安全防護方法，其特征在于：所述步驟S1中彩色深度相機獲取的深度圖像數據可獲取每個像素點對映的空間位置。

4.根據權利要求1所述的一種基于視覺深度分析的機器人主動安全防護方法，其特征在于：所述步驟S3中利用視覺深度分析系統將識別出的物體空間位置與機器人運動實時空間位置進行實時判斷及預測分析，視覺深度分析系統中深度相機與機器人采用眼在手外安裝方式，初次安裝、硬件變動、發生碰撞的情況需與機械臂本體進行手眼標定。

5.根據權利要求4所述的一種基于視覺深度分析的機器人主動安全防護方法，其特征在于：所述步驟S3中視覺深度分析系統檢測同一時刻下的，人員、物體空間位置與機器人實體位置的最近距離；

依據安全等級及人員、物體定位：安全等級低時，識別到人員、物件即將進入機器人工作空間中，發送軟急停信號，機器人立即進行減速停止；

安全等級高時，識別到人員、物件即將進入機器人工作空間中，進行預測分析，當計算出人員、物體位置與機器人位置過近或即將發生剛體碰撞時，發送軟急停信號，機器人立即進行減速停止。

6.根據權利要求1所述的一種基于視覺深度分析的機器人主動安全防護方法，其特征在于：所述步驟S4中甄別出安全隱患的同時，進行實時視頻監控記錄，保留這一時刻彩色視頻流及深度信息視頻流，并將視頻流發送至深度學習的安全監督數據庫中。

7.根據權利要求4所述的一種基于視覺深度分析的機器人主動安全防護方法，其特征在于：所述步驟S5中將隱患清除后的視頻流發送至深度學習，分析是否還有潛在隱患；深度學習系統對隱患清除后的視頻流進行分析、加強學習，提高潛在隱患識別準確度及識別潛在隱患的覆蓋度；視覺深度分析系統確認無潛在隱患及人工實際確認的雙重監管下，機器人從中斷位置恢復正常的加工作業。

8.一種基于視覺深度分析的機器人主動安全防護系統，其特征在于：包括機器人安全操作系統和視覺深度分析系統；

所述機器人安全操作系統用于獲取機器人實時作業加工軌跡，經過運動學算法可獲知機器人實時運動數據，通過加工軌跡獲取機器人的實時運動數據，并將計算出機器人實時的空間位置信息；將空間位置信息數據同步發送至視覺深度分析系統；

所述視覺深度分析系統通過彩色深度相機實時進行數據采集，識別出物體空間位置，并將識別出的物體空間位置與機器人運動實時空間位置進行實時判斷及預測分析，當計算出物體位置與機器人位置過近或即將發生剛體碰撞時，定義為安全隱患；發送軟急停信號給機器人安全操作系統，停止機器人運動、機器人作業暫停。