[發(fā)明專利]基于視觸覺信號的任務(wù)動作及物體物理屬性的識別方法

在審

• 申請?zhí)枺?/td>: 202210443616.0
• 申請日: 2022-04-26
• 公開（公告）號: CN114723963A
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計）人: 吳涓;陳航;王飛;黃戈文;張軍
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: G06V10/44
• 分類號: G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 南京眾聯(lián)專利代理有限公司 32206
• 代理人: 葉倩

1.基于視觸覺信號的任務(wù)動作及物體物理屬性的識別方法，其特征在于，包括下列步驟：

S1、信息預(yù)處理：對執(zhí)行操作任務(wù)時同步采集的原始視觸覺信息進行預(yù)處理，所述原始視觸覺信息至少包括根據(jù)視頻截取的連續(xù)多幀圖像和力觸覺信息，力觸覺信息包括手指指尖壓力、指尖加速度以及根據(jù)手指關(guān)節(jié)角度轉(zhuǎn)換的三維位置；所述信息預(yù)處理至少包括濾除噪聲和剔除冗余信息；

S2、特征提取：采用先計算經(jīng)驗特征再利用神經(jīng)網(wǎng)絡(luò)處理的方式，提取步驟S1預(yù)處理后獲得的視觸覺信息中的多模態(tài)特征；其中，先計算的圖像經(jīng)驗特征包括圖像梯度以及光流，先計算的力觸覺經(jīng)驗特征包括加速度能量譜密度、頻譜、力變化率、位移變化率以及力-位移比；處理所用的神經(jīng)網(wǎng)絡(luò)是以三維卷積網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)為主體的神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的輸出均是長度固定的一維特征矩陣；

S3、特征融合：利用最大似然估計理論對提取的視觸覺特征進行融合，具體為：

X＝K_v×x_v+K_h×x_h

其中，X代表融合特征矩陣；x_v以及x_h分別代表視覺特征矩陣與力觸覺特征矩陣；K_v和K_h分別代表視覺和力觸覺權(quán)重系數(shù)矩陣；和分別代表視覺模態(tài)與觸覺模態(tài)對于第i個屬性的權(quán)重；N代表感知屬性的數(shù)量；

S4、映射建模：根據(jù)任務(wù)中的動作類型與物體物理屬性的組合，實現(xiàn)融合特征與動作類型－物體屬性組合標(biāo)簽的映射建模，所述物體物理屬性包括形狀、硬度及紋理屬性。

2.如權(quán)利要求1所述的基于視觸覺信號的任務(wù)動作及物體物理屬性的識別方法，其特征在于：所述步驟S1中，通過濾波算法濾除圖像數(shù)據(jù)的噪聲；通過拉伊達(dá)方法進行數(shù)據(jù)信息的異常值剔除；通過加權(quán)移動平均方法進行平滑處理。

3.如權(quán)利要求1或2所述的基于視觸覺信號的任務(wù)動作及物體物理屬性的識別方法，其特征在于：所述步驟S2中，圖像梯度是圖像像素的一階導(dǎo)數(shù)，采用Sobel算子實現(xiàn)，該算子包含橫向與縱向兩組矩陣，將其與圖像做卷積運算，得到兩個方向的差分值。

4.如權(quán)利要求3所述的基于視觸覺信號的任務(wù)動作及物體物理屬性的識別方法，其特征在于：所述步驟S2中，加速度能量譜密度用加速度序列的快速傅立葉變換計算得到，具體公式如下：

其中，ESD代表能量譜密度，f代表原始加速度序列，ω代表頻率分量，t代表時間點。

5.如權(quán)利要求4所述的基于視觸覺信號的任務(wù)動作及物體物理屬性的識別方法，其特征在于：所述步驟S2中，力－位移比是選取特定區(qū)間下力與位置變化量的比值作為特征點，具體公式如下：

其中，Δp代表三維坐標(biāo)的變化，p_x、p_y及p_z分別代表X、Y及Z軸方向的坐標(biāo)，t₁及t₂代表兩個不同的時間點，ΔF代表對應(yīng)接觸力的變化，F(xiàn)代表壓力，Δh代表力－位移比。

6.如權(quán)利要求5所述的基于視觸覺信號的任務(wù)動作及物體物理屬性的識別方法，其特征在于：所述步驟S3中，將模態(tài)特征矩陣輸入權(quán)重預(yù)測網(wǎng)絡(luò)得到對應(yīng)模態(tài)的權(quán)重系數(shù)矩陣，該網(wǎng)絡(luò)主要由卷積層、池化層及全連接層組成，其中，卷積層提取必要特征，池化層將卷積層得到的特征進行壓縮，而全連接層根據(jù)池化層的輸出得到預(yù)測結(jié)果，所述視覺與力觸覺權(quán)重系數(shù)之和為1。