[發明專利]一種基于觸覺紋理特征的跨模態物體材質檢索方法

有效

• 申請號: 201810270932.6
• 申請日: 2018-03-29
• 公開（公告）號: CN108536780B
• 公開（公告）日: 2020-04-03
• 發明（設計）人: 劉華平;鄭文棟;王博文;孫富春
• 申請（專利權）人: 清華大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06K9/62
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 廖元秋

1.一種基于觸覺紋理特征的跨模態物體材質檢索方法，其特征在于，包括以下步驟：

1)觸覺紋理訓練樣本材質選取：根據觸覺特性將訓練樣本材質分為A大類；在A大類材質類型中分別選取B種典型材質的紋理表面，共計M＝A×B種材質表面；對每一種材質進行編號，記為該材質的標簽L^I，1≤L^I≤M，1≤I≤M；

2)訓練樣本數據集的建立，包括觸覺紋理訓練數據集和紋理圖像訓練數據集的建立：

2-1)觸覺紋理訓練數據集的建立：以設定的接觸力在由步驟1-1)選取的M種材質表面進行滑動，每種材質進行N次，采集摩擦振動信號，并均以三軸加速度數據形式輸出，建立維度為p＝M×N的訓練樣本三軸加速度數據集作為觸覺紋理訓練數據集，其中，第i個訓練樣本的三軸加速度數據為分別為第i個訓練樣本的加速度傳感器在x、y、z軸上采集的數據，為時域數據；

2-2)紋理圖像訓練數據集的建立：對由步驟1)選取的M種材質表面隨機拍攝N張圖片，建立維度為p＝M×N的紋理圖像訓練數據集同時，對各種材質的圖片進行編號作為各圖片的標簽，該標簽與步驟1)中相應材質的標簽一一對應；

3)對步驟2)中建立的訓練樣本數據集預處理后進行特征提取，分為觸覺紋理訓練數據集和紋理圖像訓練數據集兩部分：3-1)觸覺紋理訓練數據集，包括以下步驟：

3-1-1)加速度數據預處理：分別對步驟2-1)中采集的各訓練樣本的三軸加速度數據進行合成，并以此得到所有訓練樣本的一維加速度時域數據集為合成后的加速度數據；

3-1-2)觸覺加速度的特征提取得到觸覺紋理特征向量集U，具體包括：

3-1-2-1)利用離散小波變換(DWT)依次對步驟3-1-1)得到的一維加速度時域數據集中的進行β級分解，每級由1個近似系數時域分量和1個細節系數時域分量構成，則每個訓練樣本共有2β不同尺度和頻帶的時域分量，分別為近似系數時域分量和細節系數時域分量其中，且為整數，為的數據長度；

3-1-2-2)將步驟3-1-2-1)得到的近似系數時域分量和細節系數時域分量利用快速傅里葉變換(FFT)進行頻域變換，得到對應的頻域分量，分別為近似系數頻域分量和細節系數頻域分量

3-1-2-3)對一維加速度時域數據集分別均提取各訓練樣本一維加速度時域數據的時域分量和頻域分量和的平均值μ、標準差σ和能量E，作為相應訓練樣本的觸覺紋理特征向量并以此得到所有訓練樣本的觸覺紋理特征向量集，記為m為提取的各訓練樣本的觸覺紋理特征向量的維度，m＝2β×5；

3-2)紋理圖像訓練數據集，包括以下步驟：

3-2-1)紋理圖像預處理：采用卷積神經網絡進行紋理圖像特征提取前，先將步驟2-2)中采集的所有紋理圖像的大小統一為所采用卷積神經網絡輸入圖像的大小；

3-2-2)紋理圖像的特征提取得到紋理圖像特征向量集V：通過遷移學習方法利用卷積神經網絡中的網絡模型提取t維圖像特征，即每張圖像由t個數據點來表示，并以此得到p＝M×N張紋理圖像訓練樣本的紋理圖像的特征向量集，記為

4)對提取的兩種特征向量集進行相關性分析后進行相應檢索特征的提取：利用相關分析算法對步驟3-1)得到的觸覺紋理特征向量集U和步驟3-2)得到的觸覺紋理特征向量集V進行“觸覺加速度—紋理圖像”樣本對的訓練，分別通過映射矩陣W_U和W_V，將觸覺紋理特征和紋理圖像特征從各自的特征空間映射到一個共同的空間，使映射后的觸覺紋理特征向量集U和觸覺紋理特征向量集V的相關性最大，分別記U*＝UW_U為觸覺紋理檢索特征向量集、V*＝VW_V為觸覺紋理檢索特征向量集；

5)紋理圖像檢索庫的創建：

5-1)采集物體表面的觸覺紋理圖像：采集由步驟1)選取的M種材質在正常光照下的紋理表面的正面圖片各一張，建立維度p′＝M的紋理圖像檢索庫該檢索庫中各圖片的標簽與步驟1)中相應材質的標簽一一對應；

5-2)按照步驟3-2)對紋理圖像檢索庫J中的各個圖片進行預處理和紋理圖像特征提取，并以此得到紋理圖像檢索庫的紋理圖像特征向量集，記為通過步驟4)求取的映射矩陣W_V將紋理圖像檢索庫J的紋理圖像特征向量集Q轉換為紋理圖像檢索特征向量集Q*＝QW_V，Q*中各紋理圖像檢索特征向量的標簽與步驟1)中相應材質標簽一一對應，將Q^*及其標簽都存儲在紋理圖像檢索庫中；

6)物體材質檢索，包括以下步驟：

6-1)物體觸覺紋理檢索特征的提取，具體包括：

6-1-1)按照步驟2-1)，以一定接觸力在待檢索物體表面進行滑動，采集待檢索物體表面的摩擦振動，并均以三軸加速度信號形式輸出；

6-1-2)按照步驟3-1)得到待檢索物體的m維觸覺紋理特征向量，記為T；

6-1-3)根據步驟4)確定的映射矩陣W_U將待檢索物體的觸覺紋理特征向量T轉換為觸覺紋理檢索特征向量T*＝TW_U；

6-2)根據觸覺紋理特征的相似性進行跨模態物體材質檢索，具體包括：

6-2-1)基于觸覺紋理特征的相似性計算：運用KNN分類辨識算法，以步驟6-1-3)提取的待檢索物體的觸覺紋理檢索特征向量T*和步驟5-2)提取的紋理圖像檢索庫J中紋理圖像檢索特征向量集Q^*為輸入量，計算待檢索物體特征向量T*和紋理圖像的檢索特征向量集Q*中各個檢索特征向量之間的相似性，并對該相似性進行升序排列；

6-2-2)基于觸覺紋理特征的跨模態物體材質檢索：根據步驟6-2-1)確定的相似性排序結果從紋理圖像檢索庫J中檢索出與紋理圖像檢索特征向量相對應的紋理圖片標簽，輸出相應的紋理表面圖片，完成跨模態物體材質檢索。