[發(fā)明專(zhuān)利]基于梯度自適應(yīng)采樣和3D神經(jīng)網(wǎng)絡(luò)的觸覺(jué)物體識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310423918.6
• 申請(qǐng)日: 2023-04-18
• 公開(kāi)（公告）號(hào): CN116403091A
• 公開(kāi)（公告）日: 2023-07-07
• 發(fā)明（設(shè)計(jì)）人: 王慰;鄧威;錢(qián)曉亮;孟佳;曾黎;岳偉超;任航麗;劉向龍;王芳;劉玉翠
• 申請(qǐng)（專(zhuān)利權(quán)）人: 鄭州輕大產(chǎn)業(yè)技術(shù)研究院有限公司;鄭州輕工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06V10/82
• 分類(lèi)號(hào): G06V10/82;G06V10/80;G06V10/764;G06N3/0464;G06N3/08
• 代理公司: 鄭州優(yōu)盾知識(shí)產(chǎn)權(quán)代理有限公司 41125
• 代理人: 張真真

本發(fā)明提出了一種基于梯度自適應(yīng)采樣和3D神經(jīng)網(wǎng)絡(luò)的觸覺(jué)物體識(shí)別方法，用于解決現(xiàn)有觸覺(jué)物體識(shí)別模型使用均勻采樣策略所引起的信息冗余/損失技術(shù)問(wèn)題，以及泛化能力不足以處理不同抓取速度下的觸覺(jué)數(shù)據(jù)的技術(shù)問(wèn)題。本發(fā)明的步驟為：將原始觸覺(jué)幀送入梯度自適應(yīng)采樣策略中進(jìn)行觸覺(jué)幀的自適應(yīng)挑選，獲取梯度變化較快的觸覺(jué)幀集；對(duì)觸覺(jué)幀集進(jìn)行多時(shí)間尺度下采樣；使用MR3D?18網(wǎng)絡(luò)對(duì)下采樣后的觸覺(jué)幀分別進(jìn)行特征提取得到不同時(shí)間尺度下的特征；將不同時(shí)間尺度下的特征進(jìn)行融合，并依據(jù)融合后的特征識(shí)別物體的類(lèi)別，得到預(yù)測(cè)分類(lèi)結(jié)果。本發(fā)明基于梯度自適應(yīng)采樣策略和多時(shí)間尺度3D卷積神經(jīng)網(wǎng)絡(luò)，能夠有效提升觸覺(jué)物體識(shí)別任務(wù)的識(shí)別精度。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)的技術(shù)領(lǐng)域，尤其涉及一種基于梯度自適應(yīng)采樣和3D神經(jīng)網(wǎng)絡(luò)的觸覺(jué)物體識(shí)別方法。

背景技術(shù)

視覺(jué)和觸覺(jué)是機(jī)器人感知世界的兩種主要方式。視覺(jué)感知只能向機(jī)器人提供物體的外觀(guān)，物體的物理特征必須通過(guò)觸覺(jué)感知來(lái)獲得，如硬度、粗糙度和紋理等。我國(guó)機(jī)器人產(chǎn)業(yè)的技術(shù)發(fā)展較快，并且觸覺(jué)物體識(shí)別正是機(jī)器人感知的關(guān)鍵技術(shù)之一，也是機(jī)器人參與自動(dòng)化生產(chǎn)、智能駕駛、虛擬現(xiàn)實(shí)、智能義肢、遠(yuǎn)程醫(yī)療和垃圾分類(lèi)等應(yīng)用的核心問(wèn)題之一，具有重要的應(yīng)用價(jià)值。機(jī)器人觸覺(jué)感知技術(shù)在推動(dòng)機(jī)器智能的發(fā)展、解決實(shí)際問(wèn)題等方面具有重要意義。

觸覺(jué)物體識(shí)別大致可分為兩部分：獲取觸覺(jué)數(shù)據(jù)和根據(jù)觸覺(jué)數(shù)據(jù)識(shí)別物體類(lèi)別。首先，機(jī)械手上的觸覺(jué)傳感器被用來(lái)獲取物體的觸覺(jué)數(shù)據(jù)(通常是壓力數(shù)據(jù))。之后，機(jī)器人上配備的CPU被用來(lái)根據(jù)觸覺(jué)數(shù)據(jù)識(shí)別物體的類(lèi)別，這也是本發(fā)明的主題。目前，觸覺(jué)物體識(shí)別的主流方法包括以下幾種：基于特征提取的方法、基于模式識(shí)別的方法和基于深度學(xué)習(xí)的方法。其中，基于深度學(xué)習(xí)的觸覺(jué)物體識(shí)別方法具有更高的識(shí)別準(zhǔn)確度和魯棒性，因此逐漸成為研究熱點(diǎn)。

目前，基于深度學(xué)習(xí)的觸覺(jué)物體識(shí)別方法大多屬于不使用時(shí)間信息的方法。這類(lèi)方法使用單幀觸覺(jué)數(shù)據(jù)作為輸入，計(jì)算花費(fèi)較低并且實(shí)時(shí)性較好。然而，在日常生活和工業(yè)生產(chǎn)中大部分物體的外觀(guān)通常是相似的，這就會(huì)使得此類(lèi)使用單幀對(duì)物體進(jìn)行建模的模型對(duì)物體的識(shí)別精度降低。另一類(lèi)使用時(shí)間信息的觸覺(jué)物體識(shí)別方法采用多幀時(shí)序觸覺(jué)數(shù)據(jù)對(duì)物體進(jìn)行建模，由于覆蓋了更多的物體表面觸覺(jué)信息，因此，此類(lèi)方法有著更高識(shí)別精度和魯棒性。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有觸覺(jué)物體識(shí)別模型使用均勻采樣策略所引起的信息冗余/損失技術(shù)問(wèn)題，和泛化能力不足以處理不同抓取速度下的觸覺(jué)數(shù)據(jù)的技術(shù)問(wèn)題，本發(fā)明提出一種基于梯度自適應(yīng)采樣和3D神經(jīng)網(wǎng)絡(luò)的觸覺(jué)物體識(shí)別方法，梯度自適應(yīng)采樣策略可以盡可能多地獲取更豐富的觸覺(jué)信息，多時(shí)間尺度3D卷積神經(jīng)網(wǎng)絡(luò)可以提升對(duì)不同抓取速度下產(chǎn)生的觸覺(jué)數(shù)據(jù)的識(shí)別效果，從而能夠有效提升觸覺(jué)物體識(shí)別任務(wù)的識(shí)別精度。

為了達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：一種基于梯度自適應(yīng)采樣和3D神經(jīng)網(wǎng)絡(luò)的觸覺(jué)物體識(shí)別方法，其步驟如下：

步驟一：使用梯度自適應(yīng)采樣策略對(duì)原始觸覺(jué)幀進(jìn)行自適應(yīng)挑選，獲取梯度變化較快的觸覺(jué)幀集；使大多數(shù)被采樣出的觸覺(jué)幀蘊(yùn)含更豐富的觸覺(jué)信息，從而解決傳統(tǒng)采樣策略的數(shù)據(jù)冗余或數(shù)據(jù)缺失問(wèn)題。

步驟二：對(duì)步驟一獲取的觸覺(jué)幀集進(jìn)行多時(shí)間尺度下采樣；

步驟三：使用MR3D-18網(wǎng)絡(luò)對(duì)下采樣后的觸覺(jué)幀集分別進(jìn)行特征提取得到不同時(shí)間尺度下的特征；將不同時(shí)間尺度下的特征進(jìn)行融合，并依據(jù)融合后的特征識(shí)別物體的類(lèi)別，得到預(yù)測(cè)分類(lèi)結(jié)果。多時(shí)間尺度3D卷積神經(jīng)網(wǎng)絡(luò)模型可以提升現(xiàn)有觸覺(jué)物體識(shí)別模型對(duì)不同抓取速度下生成的觸覺(jué)數(shù)據(jù)的泛化能力，并有效提升被抓取物體的識(shí)別精度。

優(yōu)選地，所述梯度自適應(yīng)采樣策略進(jìn)行觸覺(jué)幀的自適應(yīng)挑選的方法為：

S1：將輸入的觸覺(jué)數(shù)據(jù)中的相鄰原始觸覺(jué)幀做矩陣減法獲取t時(shí)刻兩個(gè)相鄰觸覺(jué)幀的梯度絕對(duì)值矩陣；且對(duì)起始觸覺(jué)幀自身做矩陣減法處理獲取初始時(shí)刻觸覺(jué)幀的梯度絕對(duì)值矩陣；

S2：對(duì)梯度絕對(duì)值矩陣在時(shí)間維度上進(jìn)行歸一化，計(jì)算歸一化后的梯度累計(jì)分布；