[發明專利]一種基于觸覺紋理特征的跨模態物體材質檢索方法

有效

• 申請號: 201810270932.6
• 申請日: 2018-03-29
• 公開（公告）號: CN108536780B
• 公開（公告）日: 2020-04-03
• 發明（設計）人: 劉華平;鄭文棟;王博文;孫富春
• 申請（專利權）人: 清華大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06K9/62
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 廖元秋

本發明公開了一種基于觸覺紋理特征的紋理圖像跨模態檢索方法，屬于機器人觸覺識別技術領域。本發明方法依次包括觸覺紋理訓練樣本材質選取、觸覺紋理訓練數據集和紋理圖像訓練數據集的建立、觸覺加速度的特征提取和紋理圖像的特征提取、對提取的兩種特征向量集進行相關性分析后進行相應檢索特征的提取、紋理圖像檢索庫的創建以及物體材質檢索。本發明利用采集紋理表面的摩擦振動信號作為紋理表面的觸覺特征從紋理圖像檢索庫中檢索出與被檢索表面最相似的紋理表面圖像，即實現基于觸覺特征的跨模態物體材質檢索。本發明具有較高的準確率，而且彌補了文字描述材質的單一性。

技術領域

本發明屬于機器人觸覺識別技術領域，特別涉及一種基于觸覺紋理特征的跨模態物體材質檢索方法。

背景技術

隨著智能制造和全球工業化的發展，物體材質識別在電子商務、皮革紡織和智能機器人等很多工業領域均有廣泛應用。目前的材質識別通常基于物體表面的紋理圖像，識別圖像中物體的所屬材質(如木質、玻璃、塑料、鋼鐵和纖維等)。但是，基于紋理圖像的材質識別容易受到拍攝環境的影響，而且大的類內表觀差異和小的類間表觀差異通常會導致紋理特征的可區分力減弱、魯棒性降低。除此之外，紋理圖像無法準確反應與材質相關的物體屬性。如，基于紋理圖像，無法區分相同紋理的貼圖和實物。

觸覺紋理信息源于物體與手指相互接觸過程中產生的摩擦振動信號，即觸覺紋理信號，它攜帶了關于物體表面性質的信息，具有紋理圖像不具有的觸覺信息。已有學者通過實驗證明，利用人工手指或智能手指，測量并分析物體與手指相互作用過程中的摩擦振動信號，便可將表面性質差異較大的物體分辨開來。此類研究也證明了，相對于其他方式而言，基于物體表面的觸覺紋理信息能夠更有效區分不同物體表面的特性，且可作為判斷物體材質的重要依據。但是目前基于觸覺紋理材質識別方法的準確率都較低，且都處于理論研究階段。

圖像含有較文本更為直觀的信息，在人們日常生活中發揮著重要的作用，圖像檢索技術已成為一個非常活躍的研究領域。基于內容的圖像檢索是一種基于特征相似性匹配而進行的圖像檢索方法，它既能自動識別或者理解特征，又能基于特征相似匹配進行紋理圖像的檢索，可有效提高系統人性化和人機交互能力。在紋理相似性評價或基于紋理特征的圖像檢索這類人機交互應用中，尋找一種基于觸覺特征的圖像檢索具有十分重要的意義。但是，目前還尚未存在基于觸覺特征的跨模態圖像檢索方法。

發明內容

本發明的目的是為了克服已有技術的不足之處，提出一種基于觸覺紋理特征的跨模態物體材質檢索方法。本發明利用與被測物體表面相互接觸過程中產生的摩擦振動信號判斷物體的材質，同時還可以從創建的紋理圖像檢索庫中檢索出與待檢索物體表面觸覺特征最相似的多種典型的紋理表面圖像，通過該圖像可以更加直觀了解被測物體的材質屬性。

為了實現上述目的，本發明采用如下技術方案：

一種基于觸覺紋理特征的跨模態物體材質檢索方法，包括以下步驟：

1)觸覺紋理訓練樣本材質選取：根據觸覺特性將訓練樣本材質分為A大類；在A大類材質類型中分別選取B種典型材質的紋理表面，共計M＝A×B種材質表面；對每一種材質進行編號，記為該材質的標簽L^I，1≤L^I≤M，1≤I≤M；

2)訓練樣本數據集的建立，包括觸覺紋理訓練數據集和紋理圖像訓練數據集的建立：

2-1)觸覺紋理訓練數據集的建立：以設定的接觸力在由步驟1-1)選取的M種材質表面進行滑動，每種材質進行N次，采集摩擦振動信號，并均以三軸加速度數據形式輸出，建立維度為p＝M×N的訓練樣本三軸加速度數據集作為觸覺紋理訓練數據集，其中，第i個訓練樣本的三軸加速度數據為分別為第i個訓練樣本的加速度傳感器在x、y、z軸上采集的數據，為時域數據；