[發(fā)明專利]一種基于視覺引導(dǎo)的搭線方法、系統(tǒng)及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110656321.7
• 申請日: 2021-06-11
• 公開（公告）號: CN113327240A
• 公開（公告）日: 2021-08-31
• 發(fā)明（設(shè)計）人: 何忠良;傅曉飛;李大武;水煒;周李剛;蔣晨平;馮旭洲;王剛;陸凱磊;顏旭昊
• 申請（專利權(quán)）人: 國網(wǎng)上海市電力公司;上海市南電力(集團)有限公司;科大智能科技股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/70;G06N3/04;G06N3/08
• 代理公司: 合肥天明專利事務(wù)所(普通合伙) 34115
• 代理人: 閆客

1.一種基于視覺引導(dǎo)的搭線方法，其特征在于，包括：

獲取待檢測圖像；

利用YOLOv3網(wǎng)絡(luò)對待檢測圖像進行分析，得到配電網(wǎng)待作業(yè)任務(wù)元器件的2D預(yù)測框；

利用空間檢測模型對待作業(yè)任務(wù)元器件的2D預(yù)測框進行處理，得到待作業(yè)任務(wù)元器件的3D預(yù)測框；

根據(jù)待作業(yè)元器件的3D預(yù)測框，進行搭線定位引導(dǎo)以完成作業(yè)任務(wù)。

2.如權(quán)利要求1所述的基于視覺引導(dǎo)的搭線方法，其特征在于，所述YOLOv3網(wǎng)絡(luò)的損失函數(shù)包括用來判定坐標誤差的損失函數(shù)、用來判定IOU誤差的iouError損失函數(shù)和用來判定分類誤差的classError損失函數(shù)。

3.如權(quán)利要求1所述的基于視覺引導(dǎo)的搭線方法，其特征在于，所述空間檢測模型采用基于M3D-RPN網(wǎng)絡(luò)的3D目標檢測網(wǎng)絡(luò)模型。

4.如權(quán)利要求3所述的基于視覺引導(dǎo)的搭線方法，其特征在于，所述M3D-RPN網(wǎng)絡(luò)的損失函數(shù)包括分類損失函數(shù)、2D框回歸損失函數(shù)和3D框回歸損失函數(shù)。

5.如權(quán)利要求1所述的基于視覺引導(dǎo)的搭線方法，其特征在于，所述根據(jù)待作業(yè)元器件的3D預(yù)測框，進行搭線定位引導(dǎo)以完成作業(yè)任務(wù)，包括：

基于所述待作業(yè)元器件的3D預(yù)測框和先驗信息，計算得到所述待作業(yè)元器件的搭線區(qū)域信息，基于搭線區(qū)域信息進行搭線定位引導(dǎo)以完成作業(yè)任務(wù)。

6.如權(quán)利要求1-5任一項所述的基于視覺引導(dǎo)的搭線方法，其特征在于，在所述利用空間檢測模型對待作業(yè)任務(wù)元器件的2D預(yù)測框進行處理，得到待作業(yè)任務(wù)元器件的3D預(yù)測框之后，還包括：

將所述待作業(yè)元器件的3D預(yù)測框進行二維空間投影，得到待作業(yè)元器件的空間信息在平面圖像上的投影，得到平面投影；

計算平面投影和2D預(yù)測框的IOU重合度；

判斷IOU的重合度值是否大于設(shè)定閾值；

若是，將所述待作業(yè)任務(wù)元器件的3D預(yù)測框作為所述待作業(yè)元器件的空間坐標信息輸出；

若否，則對所述待作業(yè)元器件的3D預(yù)測框進行矯正。

7.如權(quán)利要求6所述的基于視覺引導(dǎo)的搭線方法，其特征在于，所述對所述待作業(yè)元器件的3D預(yù)測框進行矯正，包括：

重新獲取所述待檢測圖像；

根據(jù)重新獲取的所述待檢測圖像，計算所述待作業(yè)元器件的新的3D預(yù)測框在二維平面上的投影，得到新的平面投影；

利用本地構(gòu)建的目標檢測網(wǎng)絡(luò)對配電網(wǎng)的待作業(yè)元器件進行目標檢測，得到新的2D預(yù)測框；

計算新的平面投影與新的2D預(yù)測框之間的IOU重合度；

判斷該IOU重合度是否大于所述設(shè)定閾值

若是，將所述待作業(yè)任務(wù)元器件的新的3D預(yù)測框作為所述待作業(yè)元器件的空間坐標信息輸出；

若否，對新的3D預(yù)測框進行補償計算，得到所述待作業(yè)元器件的空間坐標信息。

8.一種基于視覺引導(dǎo)的搭線系統(tǒng)，其特征在于，包括：攝像頭和操作機器人，攝像頭安裝在操作機器人上，操作機器人內(nèi)設(shè)有數(shù)據(jù)處理模塊，該數(shù)據(jù)處理模塊包括圖像獲取單元、目標檢測單元和空間信息檢測單元，其中：

圖像獲取模塊用于獲取攝像頭采集的待檢測圖像；

目標檢測單元用于利用YOLOv3網(wǎng)絡(luò)對待檢測圖像進行分析，得到配電網(wǎng)待作業(yè)任務(wù)元器件的2D預(yù)測框；

空間信息檢測單元利用空間檢測模型對待作業(yè)任務(wù)元器件的2D預(yù)測框進行處理，得到待作業(yè)任務(wù)元器件的3D預(yù)測框，以使操作機器人根據(jù)待作業(yè)元器件的3D預(yù)測框，進行搭線定位引導(dǎo)以完成作業(yè)任務(wù)。

9.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行可實現(xiàn)如權(quán)利要求1-8中任意一項所述的基于視覺引導(dǎo)的搭線方法。