[發明專利]一種基于機器視覺與觸覺感知的物體描述生成方法

有效

• 申請號: 202110037740.2
• 申請日: 2021-01-12
• 公開（公告）號: CN112766349B
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 張鵬;周茂輝;單東日;鄒文凱
• 申請（專利權）人: 齊魯工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 濟南泉城專利商標事務所 37218
• 代理人: 張貴賓

1.一種基于機器視覺與觸覺感知的物體描述生成方法，其特征在于，包括以下步驟：

S1，預處理視覺和觸覺原始數據；

S2，將采集到的視覺和觸覺信息分別輸入二維卷積神經網絡和一維卷積神經網絡，并將兩個神經網絡輸出的特征向量串聯得到視觸融合特征向量；

S3，將得到的視觸融合特征向量輸入到兩個全連接網絡分支中，第一個全連接網絡用于物體的識別分類，第二個全連接網絡用于物體的物理屬性識別；兩個全連接網絡所使用的監督標簽都是標準的多分類任務和多標簽任務中的標簽形式，多分支輸出的神經網絡有兩個分支就會有兩個損失函數，多分類任務中使用的是交叉熵損失函數，多標簽任務中使用的損失函數是pytorch神經網絡架構提供的多標簽分類損失函數MultilLabelSoftMarginLoss()；

S4，將兩個全連接網絡得到的分類結果和物理屬性以關鍵詞的形式嵌入到物體描述語句中；將分類結果和物理屬性轉化為關鍵詞的具體方法為，將物體類別關鍵詞排序形成n個元素的列表，然后將物體類別關鍵詞的索引值作為物體的標簽，每個物體只有一個標簽；

多分類任務的輸出是n個概率值，由概率值最大的數值的索引可以找到對應的物體類別關鍵詞；

多標簽分類任務中標簽生成與多分類任務相似，先將m個物理屬性關鍵詞排序形成一個m個元素的列表，多分類的標簽是由m個元素組成分別和m個物理屬性關鍵詞對應，要從多標簽分類網絡輸出得到物理屬性關鍵詞，需要得到網絡輸出中預測值為1的索引，然后根據索引從物理屬性關鍵詞列表中調取相應的屬性，完成物理屬性關鍵詞的提取。

2.根據權利要求1所述的基于機器視覺與觸覺感知的物體描述生成方法，其特征在于：

所述S1中，視覺信息的預處理方法為，將原始高像素圖像進行尺寸變換，變換為像素值300*300大小的圖片，同時對圖片亮度、對比度、飽和度隨機產生30%的偏移處理，得到最終需要輸入的圖像。

3.根據權利要求1所述的基于機器視覺與觸覺感知的物體描述生成方法，其特征在于：

所述S1中，觸覺信息的預處理方法為，使用matlab軟件對數據剪切，將長短不一的多維數據進行壓縮處理，最終得到長短一致的觸覺數據。

4.根據權利要求1所述的基于機器視覺與觸覺感知的物體描述生成方法，其特征在于：

所述S2中，視覺和觸覺信息是成對輸入的，視覺信息輸入二維卷積神經網絡，觸覺信息輸入一維卷積神經網絡；對于觸覺信息特征提取共使用三層一維卷積神經網絡，激活函數使用的是RELU函數；對于視覺信息特征提取使用densnet169模型。