[發明專利]一種基于觸覺感知的布料屬性檢測方法

在審

• 申請號: 202110391377.4
• 申請日: 2021-04-05
• 公開（公告）號: CN113177910A
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 趙明福;陳春燕;黃晁
• 申請（專利權）人: 寧波中國科學院信息技術應用研究院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G01D21/02;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提出的一種基于觸覺感知的布料屬性檢測方法，所述的方法包括：利用觸覺傳感器與不同的布料表面進行接觸，采集布料表面的觸覺數據，并對布料的厚度、密度、剛性和可拉伸性這四種屬性建立標簽；對觸覺視頻數據設計采幀策略，選取具有價值的觸覺圖像幀；構建基于卷積神經網絡CNN和雙向長短時記憶網絡LSTM組合的布料屬性檢測模型，并在CNN中集成混合域注意力模塊CBAM，來提供模型提取關鍵特征的能力；設計多任務損失函數對檢測模型進行訓練，并用重復執行K次實驗評估檢測模型的性能；實時采集布料表面的觸覺數據輸入到檢測模型中，輸出布料四種屬性的估計值。本發明利用觸覺數據進行布料屬性檢測，可以解決布料的細分類問題，另外對模型結構進行設計，增加了對觸覺視頻幀中關鍵區域的關注，提高模型的檢測精度。

技術領域

本發明屬于布料屬性檢測技術領域，具體涉及一種基于觸覺感知的布料屬性檢測方法。

背景技術

布料作為常見的物體，具有豐富的物理屬性，包括厚度、密度、剛性和可拉伸性等，這些屬性能夠充分的反映布料的質量。對布料屬性檢測的研究有著十分重要的應用前景，如發展家用機器人來協助人類處理和服裝相關的家務勞動、在布料的生產過程中自動化地對布料質量進行檢測等，同時對其他物體屬性進行主動感知的研究也具有啟發意義。目前，大多數布料的相關研究使用視覺作為感官輸入，以實現對布料的瑕疵檢測、成分識別、服裝分類等識別領域的特定任務。然而這些任務大多局限于對布料的粗分類上，對布料的細粒度屬性檢測領域尚不存在一個有效的方法。

觸覺相比于視覺更能夠產生真實的物理刺激數據。對布料的各類屬性進行觸覺再現，具體指當通過觸覺再現裝置接觸布料時，產生能夠模擬人在與觸摸布料時所感知到布料屬性。本發明的目的是利用觸覺感知，實現對布料的厚度、密度、剛性以及可拉伸性這四個屬性的檢測。觸覺感知包括觸覺再現和觸覺數據計算兩個內容。基于視覺的觸覺傳感器因其布線和制造工藝簡單，且能提供接觸區域較高空間分辨率的觸覺圖像而逐漸脫穎而出。此類傳感器通常使用帶有標記的彈性體作為傳感介質，并通過攝像機捕捉介質的形變。當使用它們接觸物體時，會引起帶標記的介質發生形變，介質的形變會引起光的反射發生變化，并最終通過攝像頭捕捉到每一幀變化的高分辨率觸覺圖像。連續的高分辨率觸覺圖像，蘊含了被接觸物體豐富的物理信息，這為進一步檢測布料屬性提供了可能。針對觸覺計算的問題，近年來神經網絡的不斷發展在圖像領域成效顯著，同樣由于基于視覺的觸覺傳感器采集到的也是圖像，因此可以將應用到視覺上的神經網絡模型推廣到觸覺感知領域，實現對布料屬性的精確估計。

發明內容

為解決布料屬性細分類問題，增強人機交互中的物體屬性感知能力，本發明提出的一種基于觸覺感知的布料屬性檢測方法。

本發明所采取的技術方案如下：

步驟1：采集布料表面的仿生觸覺數據并建立屬性標簽：手持觸覺傳感器測量裝置按壓布料，采集包含100種布料屬性的觸覺數據；觸覺數據以視頻的形式進行保存，視頻主要包含的是傳感器與布料接觸過程中的一系列圖像序列；為每種布料的厚度、密度、剛性和可拉伸性這四種屬性建立標簽；

步驟2：對步驟1采集到觸覺視頻數據設計采幀策略：對視頻圖像序列設計采幀策略，綜合考慮計算消耗和模型性能，獲取具有價值的5張觸覺圖像；對每張觸覺圖像做背景差分消除不同光照環境的干擾；

步驟3：構建基于觸覺感知的布料屬性檢測模型：構建卷積神經網絡CNN和長短時記憶網絡LSTM組合的檢測模型；在CNN模塊中集成混合域注意力模塊CBAM構建Tactile CNN模塊，增強模型對于接觸區域的注意力，提高模型提取關鍵特征的能力；將步驟2選取處理后的5張觸覺圖像作為模型的輸入，分別利用Tactile CNN模塊和LSTM模塊提取輸入序列的空間特征和時序特征，輸出這5張觸覺圖像的共享特征；共享特征分別輸入到四個獨立的FC模塊輸出步驟1建立的布料的厚度、密度、剛性和可拉伸性這四個屬性估計值；