[發明專利]一種基于神經網絡的巡檢機器人視覺檢測及跟蹤方法

在審

• 申請號: 202011409502.1
• 申請日: 2020-12-04
• 公開（公告）號: CN112528817A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 宋永端;黃力;談世磊;賴俊峰;劉歡;蔣自強;張杰;陳歡;吳將娛;龍鴻;胡芳;胡琴
• 申請（專利權）人: 重慶大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06T7/246;G06T7/262
• 代理公司: 重慶信航知識產權代理有限公司 50218
• 代理人: 吳彬

本發明公開了一種基于神經網絡的巡檢機器人視覺檢測及跟蹤方法，其包括步驟：1)機器人在移動過程中采集動態背景的環境圖像；2)將采集到的圖像進行預處理；3)在機器人本體上完成圖像中人體目標和特定行為的檢測，并保存滿足特定行為的人體目標的大小、位置信息和特征；4)運用目標跟蹤算法并控制機器人云臺朝向使得特定目標始終位于圖像中心位置；5)控制機器人運動跟隨跟蹤對象。本發明基于神經網絡的巡檢機器人視覺檢測及跟蹤方法，具有很強的自適應能力，在動態背景的場景下，對目標有較好的檢測與跟蹤效果，具有較高可靠性和魯棒性。

技術領域

本發明涉及智能機器人技術領域，特別涉及一種巡檢機器人視覺檢測及跟蹤方法。

背景技術

隨著神經網絡和機器人技術的快速發展，智能自主巡檢機器人的研發和應用逐漸成為可能。傳統人工巡檢需要大量的人力，并且要求巡檢人員時刻保持高度的注意力，對于大型的室內外場景，存在著各種不可控的因素，突發事件的不確定性，暴露出人工巡檢方式固有的低效率高風險的缺點。因此開發一款能夠自主巡檢以及輔助人工巡檢的智能巡檢機器人就顯得格外重要。

對于安全性和保密性較高的應用場景，要求智能巡檢機器人不僅能完成既定區域的巡檢，還需要能夠辨識區域場景中的人員信息和行為，及時發現非法或有重大風險行為的人員并對其進行穩定跟蹤，例如在禁止吸煙區域吸煙以及未按照要求著裝等行為的人員，并上報異常信息，能夠及時有效地避免危害安全和保密行為的發生，相較于事后查看監控溯源的方式更加節省人力和資源。

目前巡檢機器人視覺跟蹤的方法大部分采用機器人本體采集圖像信息，上傳服務器端進行信息處理的形式，并不能很好的利用機器人搭載的經濟高性能的處理器，導致資源的浪費和穩定性、實時性的下降。同時傳統的用于巡檢機器人的人員跟蹤算法高度依賴環境光照等因素的穩定性，人體被短時間遮擋時算法就會失效，并且對于人體外觀的形變和快速移動魯棒性較低。

發明內容

有鑒于此，本發明的目的是一種基于神經網絡的巡檢機器人視覺檢測及跟蹤方法，以解決讓巡檢機器人能夠快速準確地檢測出特定行為以及人體目標，提高機器人視覺跟蹤的可靠性和魯棒性等技術問題。

本發明基于神經網絡的巡檢機器人視覺檢測及跟蹤方法，包括步驟：

1)機器人在巡檢移動過程中使用攝像頭采集環境動態圖像；

2)使用機器人搭載的嵌入式系統對視頻圖像進行預處理；

其特征在于：還包括以下步驟：

3)使用目標檢測算法構建目標檢測器，將預處理后的圖像傳入目標檢測器，目標檢測器對圖像中人體和特定行為進行檢測，對滿足特定行為的人體目標記錄人體深度特征以及人體大小和位置信息；

4)使用目標跟蹤算法構建目標跟蹤器，調用目標跟蹤器跟蹤圖像中滿足特定行為的人體目標，并控制機器人攝像頭云臺轉動角度θ，使得跟蹤對象能夠時刻處于圖像的中心位置，并開啟測距傳感器獲取跟蹤對象與機器人相隔位置d；如果存在多個滿足特定行為的人體目標，選擇人體檢測框最大并且行為危險程度最高的人體目標作為跟蹤對象，以行為危險程度為優先考量準則；

5)使用機器人搭載的運動控制器控制機器人運動跟隨跟蹤對象；

6)當跟蹤目標長時間消失在畫面中時，重置目標檢測器和跟蹤器，并刪除人體目標，復位攝像頭云臺的位置。

進一步，在步驟2)中，使用機器人搭載的嵌入式系統對視頻圖像進行預處理，壓縮圖片尺寸為608*608，通道數為3的RGB格式。

進一步，在步驟3)中，所述的目標檢測算法為yolov4算法；

在步驟4)中，所述的目標跟蹤算法包括：