[發(fā)明專利]一種巡檢機器人的圖像采集方法

有效

• 申請?zhí)枺?/td>: 202010027620.X
• 申請日: 2020-01-10
• 公開（公告）號: CN111161446B
• 公開（公告）日: 2021-08-17
• 發(fā)明（設(shè)計）人: 楊克己;梁松偉;吳峰;武二永
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G07C1/20
• 分類號: G07C1/20;H04N5/232
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 劉靜

1.一種巡檢機器人的圖像采集方法，其特征在于，包括以下步驟：

(1)巡檢機器人進行巡查作業(yè)，機器人上的云臺掃查周圍環(huán)境；并判斷相機視野中是否包含目標(biāo)圖像，所述目標(biāo)圖像主要包含電位開關(guān)、表計、油位； 若相機視野中包含目標(biāo)圖像，在巡檢機器人進行巡查作業(yè)的同時，提取目標(biāo)圖像在相機視野中的位置信息，具體包括框選目標(biāo)圖像的長方形邊框四個頂點的坐標(biāo)以及目標(biāo)圖像中心坐標(biāo)，實時計算目標(biāo)圖像中心坐標(biāo)與相機視野中心坐標(biāo)偏移量；若相機視野中未包含目標(biāo)圖像，繼續(xù)進行巡查作業(yè)；

(2)以巡檢機器人幾何中心為原點，巡檢機器人的前進方向為X軸正方向，豎直向上為Z軸正方向，建立世界坐標(biāo)系； 獲取巡檢機器人的運動信息，包括世界坐標(biāo)系下的巡檢機器人水平X軸方向的運動速度與繞Z軸的旋轉(zhuǎn)速度，計算相機相對于機器人在世界坐標(biāo)系下的位置位姿坐標(biāo)，確定目標(biāo)圖像相對于相機視野中心的平移與旋轉(zhuǎn)方式，最終進而確定目標(biāo)圖像相對于相機視野中心的相對運動；

判斷相機視野中是否包含目標(biāo)圖像具體為：利用YOLOV3算法判斷相機視野中是否包含目標(biāo)圖像，若包含則輸出目標(biāo)圖像在相機視野中的位置信息與標(biāo)簽信息；標(biāo)簽信息表示目標(biāo)圖像類別，即電位開關(guān)、表計或油位； YOLOV3算法經(jīng)過變電站目標(biāo)圖像數(shù)據(jù)集訓(xùn)練，實現(xiàn)對變電站特殊環(huán)境下目標(biāo)的有效識別；

(3)在巡檢機器人進行巡查作業(yè)的同時，根據(jù)實時計算的目標(biāo)圖像中心坐標(biāo)與相機視野中心坐標(biāo)的偏移量與確定的目標(biāo)圖像相對于相機視野中心的相對運動，巡檢機器人實時向云臺電機發(fā)送控制指令，調(diào)整云臺相機的角度直至目標(biāo)圖像中心坐標(biāo)與相機視野中心坐標(biāo)重合，進行目標(biāo)圖像采集；具體為：

(3.1)根據(jù)目標(biāo)圖像中心坐標(biāo)與相機視野中心坐標(biāo)的偏移量與目標(biāo)圖像相對于相機視野中心的相對運動，確定云臺需要的旋轉(zhuǎn)角度和旋轉(zhuǎn)角速度；

(3.2)巡檢機器人向云臺電機發(fā)送控制指令，根據(jù)云臺需要的旋轉(zhuǎn)角度和旋轉(zhuǎn)角速度，調(diào)整云臺相機的角度直至目標(biāo)圖像中心坐標(biāo)與相機視野中心坐標(biāo)重合；

(3.3)目標(biāo)圖像中心坐標(biāo)與相機視野中心坐標(biāo)重合后，調(diào)整云臺相機鏡頭放大倍率與聚焦，進而使得目標(biāo)圖像在相機視野中所占比例滿足閾值T，T范圍為1/2～3/4，之后再進行目標(biāo)圖像采集；

(4)根據(jù)采集的目標(biāo)圖像，使用MSCN方法提取目標(biāo)圖像中的NSS特征，然后進行圖像質(zhì)量評價，選擇圖像質(zhì)量評分最低的圖像進行保存，之后巡檢機器人繼續(xù)進行巡查作業(yè)；采集圖像的質(zhì)量評價具體為：采集得到的目標(biāo)圖像，使用MSCN方法提取目標(biāo)圖像的NSS(Extract Natural Scene Statistics)特征，表征出特征的向量，輸入訓(xùn)練好的SVM進行預(yù)測得分；評價分數(shù)越低，代表圖像質(zhì)量越好。