[發(fā)明專利]一種具有旋轉(zhuǎn)適應(yīng)性的目標(biāo)檢測(cè)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110690469.2
• 申請(qǐng)日: 2021-06-22
• 公開（公告）號(hào): CN113420648B
• 公開（公告）日: 2023-05-05
• 發(fā)明（設(shè)計(jì)）人: 楊洋
• 申請(qǐng)（專利權(quán)）人: 深圳市華漢偉業(yè)科技有限公司
• 主分類號(hào): G06V20/00
• 分類號(hào): G06V20/00;G06V10/24;G06V10/764;G06V10/82;G06V10/766;G06N3/047;G06N3/088
• 代理公司: 深圳鼎合誠知識(shí)產(chǎn)權(quán)代理有限公司 44281
• 代理人: 郭燕;彭家恩

一種具有旋轉(zhuǎn)適應(yīng)性的目標(biāo)檢測(cè)方法及系統(tǒng)，對(duì)待檢測(cè)圖像進(jìn)行特征提取，得到初級(jí)特征圖像；對(duì)初級(jí)特征圖像中的每個(gè)點(diǎn)，使用目標(biāo)檢測(cè)模型中訓(xùn)練好的候選框信息進(jìn)行回歸，得到回歸結(jié)果；根據(jù)回歸結(jié)果進(jìn)行篩選和非極大值抑制，得到候選目標(biāo)信息；候選目標(biāo)信息包括像素點(diǎn)屬于目標(biāo)的概率、目標(biāo)的位置、目標(biāo)的尺寸和角度；對(duì)候選目標(biāo)信息進(jìn)行旋轉(zhuǎn)采樣和RoIPooling，或者，旋轉(zhuǎn)采樣和RoIAlign，或者，旋轉(zhuǎn)池化操作，得到特征圖；對(duì)特征圖進(jìn)行回歸，得到目標(biāo)檢測(cè)結(jié)果，目標(biāo)檢測(cè)結(jié)果包括目標(biāo)的位置、大小、目標(biāo)類別和角度。本發(fā)明解決了目標(biāo)檢測(cè)問題中對(duì)于旋轉(zhuǎn)物體的適應(yīng)性問題，使得本發(fā)明不僅可以返回物體的位置、尺寸和類別，還可以返回物體的角度。

技術(shù)領(lǐng)域

本發(fā)明涉及一種具有旋轉(zhuǎn)適應(yīng)性的目標(biāo)檢測(cè)方法及系統(tǒng)。

背景技術(shù)

目標(biāo)檢測(cè)是一項(xiàng)具有挑戰(zhàn)性的計(jì)算機(jī)視覺任務(wù)，同時(shí)在諸多領(lǐng)域有應(yīng)用前景，包含人臉識(shí)別、搜尋搶險(xiǎn)、智能交通等等。傳統(tǒng)的目標(biāo)檢測(cè)方法主要通過人為設(shè)計(jì)待檢測(cè)目標(biāo)的特征，從而實(shí)現(xiàn)目標(biāo)檢測(cè)，該方法非常繁瑣，同時(shí)由于目標(biāo)特征難提取、不穩(wěn)定等特性，使得這種方式既低效、又缺乏魯棒性。近年來隨著深度學(xué)習(xí)方法的提出和應(yīng)用，目標(biāo)檢測(cè)任務(wù)的相關(guān)領(lǐng)域也獲得了諸多里程碑的成果，在目標(biāo)的檢測(cè)精度和檢測(cè)速度方面都取得了巨大提升。基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法主要分為單步檢測(cè)和兩步檢測(cè)，單步檢測(cè)算法檢測(cè)速度快，但犧牲了一部分精度，難以達(dá)到高精度檢測(cè)要求，兩步檢測(cè)算法首先提取候選區(qū)域，再對(duì)候選區(qū)域進(jìn)行定位和分類，具有較高精度，但檢測(cè)速度慢，難以滿足實(shí)時(shí)性要求。

在一個(gè)算力有限的微型計(jì)算設(shè)備上對(duì)圖像中的旋轉(zhuǎn)物體進(jìn)行實(shí)時(shí)的目標(biāo)檢測(cè)是一個(gè)比較困難的問題。旋轉(zhuǎn)目標(biāo)檢測(cè)通常出現(xiàn)在配合機(jī)器人引導(dǎo)中的旋轉(zhuǎn)物體檢測(cè)或者是傾斜的物體檢測(cè)當(dāng)中，現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)旋轉(zhuǎn)目標(biāo)檢測(cè)方法依賴比較厚重的基礎(chǔ)神經(jīng)網(wǎng)絡(luò)提取圖像特征，使得方法難以在微型計(jì)算設(shè)備上運(yùn)行，對(duì)網(wǎng)絡(luò)進(jìn)行量化、剪枝或設(shè)計(jì)輕量化的網(wǎng)絡(luò)結(jié)構(gòu)是一大趨勢(shì)。同時(shí)，常見的深度神經(jīng)網(wǎng)絡(luò)旋轉(zhuǎn)目標(biāo)檢測(cè)方法并不能給出運(yùn)動(dòng)物體的姿態(tài)，比如車輛的朝向。

當(dāng)前目標(biāo)檢測(cè)主要輸出信息為目標(biāo)物體的位置(x_c，y_c)、大小(w，h)和類別(即目標(biāo)物體是什么物體)，并沒有輸出物體的角度，如果是長寬比比較大的物體，旋轉(zhuǎn)后的外包矩形區(qū)域僅僅占據(jù)了有效面積的很小的一部分，目標(biāo)檢測(cè)的準(zhǔn)確率和精度都會(huì)下降。一些場(chǎng)景中，為了配合機(jī)器人的抓取和揀選，也需要輸出物體的旋轉(zhuǎn)角度，配合機(jī)械手姿態(tài)完成物體的抓取。本發(fā)明重點(diǎn)解決目標(biāo)檢測(cè)問題中對(duì)于旋轉(zhuǎn)物體的適應(yīng)性問題。

發(fā)明內(nèi)容

如上所述，本發(fā)明重點(diǎn)解決目標(biāo)檢測(cè)問題中對(duì)于旋轉(zhuǎn)物體的適應(yīng)性問題，使得本發(fā)明不僅可以返回物體的位置、尺寸和類別，還可以返回物體的角度，從而可以實(shí)現(xiàn)機(jī)器人抓取、揀選等復(fù)雜場(chǎng)景的識(shí)別需求。

根據(jù)第一方面，一種實(shí)施例中提供一種具有旋轉(zhuǎn)適應(yīng)性的目標(biāo)檢測(cè)方法，包括：

獲取待檢測(cè)圖像；

將所述待檢測(cè)圖像輸入到目標(biāo)檢測(cè)模型中進(jìn)行處理，得到目標(biāo)檢測(cè)結(jié)果；其中所述將所述待檢測(cè)圖像輸入到目標(biāo)檢測(cè)模型中進(jìn)行處理，包括：

對(duì)所述待檢測(cè)圖像進(jìn)行特征提取，得到初級(jí)特征圖像；

對(duì)所述初級(jí)特征圖像中的每個(gè)點(diǎn)，使用所述目標(biāo)檢測(cè)模型中訓(xùn)練好的候選框信息進(jìn)行回歸，得到回歸結(jié)果；所述回歸結(jié)果包括角度的回歸、角度類別的回歸、位置參數(shù)的回歸和類別的回歸；其中，所述角度類別用于表示回歸的角度與真實(shí)角度是相等還是相差180度，位置參數(shù)包括回歸的候選框的中心點(diǎn)的位置、長度、寬度和角度，類別的回歸表示當(dāng)前點(diǎn)屬于目標(biāo)的概率；

根據(jù)所述回歸結(jié)果進(jìn)行篩選和非極大值抑制，得到候選目標(biāo)信息；所述候選目標(biāo)信息包括像素點(diǎn)屬于目標(biāo)的概率、目標(biāo)的位置、目標(biāo)的尺寸和角度；

對(duì)所述候選目標(biāo)信息進(jìn)行處理，得到特征圖；該處理包括旋轉(zhuǎn)采樣和RoIPooling，或者，旋轉(zhuǎn)采樣和RoIAlign，或者，旋轉(zhuǎn)池化；