[發(fā)明專利]基于深度學(xué)習(xí)的定位方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910140228.3
• 申請日: 2019-02-26
• 公開（公告）號: CN109977945A
• 公開（公告）日: 2019-07-05
• 發(fā)明（設(shè)計）人: 孟健;紀(jì)國強(qiáng);戴維倫;湯興粲;劉勝波;王會玲
• 申請（專利權(quán)）人: 博眾精工科技股份有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06N3/04;G06N3/08
• 代理公司: 蘇州創(chuàng)元專利商標(biāo)事務(wù)所有限公司 32103
• 代理人: 范晴;丁浩秋

本發(fā)明公開了一種基于深度學(xué)習(xí)的定位方法，包括：構(gòu)建基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)，通過基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)提取采集的圖像的深度學(xué)習(xí)特征；構(gòu)建區(qū)域候選網(wǎng)絡(luò)，篩選初步候選錨框確定前景和背景標(biāo)簽，計算標(biāo)注數(shù)據(jù)與篩選后的錨框之間的偏移量；根據(jù)基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)輸出的特征映射生成旋轉(zhuǎn)矩形局域候選框，所述旋轉(zhuǎn)矩形局域候選框使用兩個定點坐標(biāo)和高度表示；根據(jù)旋轉(zhuǎn)矩形局域候選框的旋轉(zhuǎn)矩形的交并比篩選候選區(qū)域，計算分類損失、預(yù)測旋轉(zhuǎn)框的坐標(biāo)和角度損失，得到最優(yōu)模型參數(shù)進(jìn)行定位。可以識別目標(biāo)的角度信息，旋轉(zhuǎn)定位框，有助于機(jī)械手更加精準(zhǔn)的抓取目標(biāo)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于深度學(xué)習(xí)的定位方法，具體地涉及一種基于深度學(xué)習(xí)的旋轉(zhuǎn)定位框進(jìn)行定位的方法的系統(tǒng)。

背景技術(shù)

隨著工業(yè)自動化技術(shù)的發(fā)展，機(jī)器人的數(shù)量在不斷的增加，工業(yè)機(jī)器人已經(jīng)廣泛的應(yīng)用到汽車制造，機(jī)械加工、電子電氣以及智能家庭服務(wù)等生活的方方面面。機(jī)器人技術(shù)的發(fā)展在一定程度上反應(yīng)了一個國家自動化的發(fā)展水平，隨著社會經(jīng)濟(jì)的發(fā)展，生產(chǎn)規(guī)模的擴(kuò)大以及生產(chǎn)環(huán)境的復(fù)雜化，開發(fā)和生產(chǎn)更加智能化、信息化、高精度的自動化系統(tǒng)顯得尤為的重要。在機(jī)器視覺領(lǐng)域，目標(biāo)識別與定位是關(guān)鍵技術(shù)，其不僅可以指引機(jī)器人完成某項任務(wù)，如工業(yè)零件加工、分揀以及搬運等任務(wù)。其在視覺場景理解、地圖創(chuàng)建以及AR等復(fù)雜的視覺領(lǐng)域也有重要的意義，研究機(jī)器視覺技術(shù)是推動機(jī)器人發(fā)展的一項巨大的舉措。

傳統(tǒng)的機(jī)械臂的抓取采用的是示教系統(tǒng)，但當(dāng)待抓取目標(biāo)的位置、形狀以及環(huán)境發(fā)生變化時，示教系統(tǒng)下的機(jī)械臂不能隨外界的變化而做出相應(yīng)的調(diào)整，因而會造成抓取任務(wù)的失敗。計算機(jī)視覺解決機(jī)械臂抓取任務(wù)的通常做法是，首先利用相機(jī)對場景采樣，利用圖像處理算法獲取目標(biāo)位置以及空間的姿態(tài)信息，最終使機(jī)械臂完成抓取任務(wù)。傳統(tǒng)的機(jī)械臂識別階段的圖像處理采用特征提取的方法來處理圖像信息，特征提取的過程中容易受到光照、目標(biāo)形狀和目標(biāo)大小等外界因素的影響，因此泛化能力和魯棒性較差。深度學(xué)習(xí)概念是Hinton在2006年首次提出，Krizhevsky在2012年的ImageNet比賽利用深度學(xué)習(xí)的方法取得了優(yōu)異的成績，深度學(xué)習(xí)引起了全世界研究人員的關(guān)注。相比于傳統(tǒng)的視覺算法，深度學(xué)習(xí)不需要使用者預(yù)先選定提取的何種特征，而是通過學(xué)習(xí)的方式在大量的數(shù)據(jù)中找到目標(biāo)所具有的特征。

但是，目前深度學(xué)習(xí)定位算法只是單純的垂直框的定位，如圖1所示，在實際工程應(yīng)用中，有些目標(biāo)會有一定的傾斜，使得垂直定位框無法精確的定位目標(biāo)。

發(fā)明內(nèi)容

針對上述存在的技術(shù)問題，本發(fā)明目的是：提供了一種基于深度學(xué)習(xí)的定位方法和系統(tǒng)，可以識別目標(biāo)的角度信息，旋轉(zhuǎn)定位框，有助于機(jī)械手更加精準(zhǔn)的抓取目標(biāo)。

本發(fā)明的技術(shù)方案是：

一種基于深度學(xué)習(xí)的定位方法，包括以下步驟：

S01：構(gòu)建基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)，通過基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)提取采集的圖像的深度學(xué)習(xí)特征；

S02：構(gòu)建區(qū)域候選網(wǎng)絡(luò)，篩選初步候選錨框確定前景和背景標(biāo)簽，計算標(biāo)注數(shù)據(jù)與篩選后的錨框之間的偏移量；

S03：根據(jù)基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)輸出的特征映射生成旋轉(zhuǎn)矩形局域候選框，所述旋轉(zhuǎn)矩形局域候選框使用兩個定點坐標(biāo)和高度表示；

S04：根據(jù)旋轉(zhuǎn)矩形局域候選框的旋轉(zhuǎn)矩形的交并比篩選候選區(qū)域，計算分類損失、預(yù)測旋轉(zhuǎn)框的坐標(biāo)和角度損失，得到最優(yōu)模型參數(shù)進(jìn)行定位。

優(yōu)選的技術(shù)方案中，所述步驟S02包括：

S21：根據(jù)基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)輸出的特征映射生成初步候選錨框，得到圖像每個位置所需候選錨框數(shù)目為：

num_anchor＝n*m*ration*scaler

其中，n、m、ration、scaler分別表示輸出特征映射的長、寬、生成錨框的不同長寬比、生成錨框的不同尺度；