[發明專利]一種基于觸覺感知的布料屬性檢測方法

在審

• 申請號: 202110391377.4
• 申請日: 2021-04-05
• 公開（公告）號: CN113177910A
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 趙明福;陳春燕;黃晁
• 申請（專利權）人: 寧波中國科學院信息技術應用研究院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G01D21/02;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于觸覺感知的布料屬性檢測方法，其特征在于：該方法包括以下步驟：

步驟1：采集布料表面的仿生觸覺數據并建立屬性標簽：手持觸覺傳感器測量裝置按壓布料，采集包含100種布料屬性的觸覺數據；觸覺數據以視頻的形式進行保存，視頻主要包含的是傳感器與布料接觸過程中的一系列圖像序列；為每種布料的厚度、密度、剛性和可拉伸性這四種屬性建立標簽；

步驟2：對步驟1采集到觸覺視頻數據設計采幀策略：對視頻圖像序列設計采幀策略，綜合考慮計算消耗和模型性能，獲取具有價值的5張觸覺圖像；對每張觸覺圖像做背景差分消除不同光照環境的干擾；

步驟3：構建基于觸覺感知的布料屬性檢測模型：構建卷積神經網絡CNN和長短時記憶網絡LSTM組合的檢測模型；在CNN模塊中集成混合域注意力模塊CBAM構建Tactile CNN模塊，增強模型對于接觸區域的注意力，提高模型提取關鍵特征的能力；將步驟2選取處理后的5張觸覺圖像作為模型的輸入，分別利用Tactile CNN模塊和LSTM模塊提取輸入序列的空間特征和時序特征，輸出這5張觸覺圖像的共享特征；共享特征分別輸入到四個獨立的FC模塊輸出步驟1建立的布料的厚度、密度、剛性和可拉伸性這四個屬性估計值；

步驟4：訓練評估布料屬性檢測模型：在步驟1采集到的100種布料表面的觸覺視頻數據上，建立模型訓練數據集和測試數據集；設計多任務損失函數來訓練檢測模型，其中多任務學習的整體損失函數取決于厚度檢測、密度檢測、剛性檢測以及可拉伸性檢測這個四個子任務的損失函數；重復執行K次實驗評估檢測模型的性能；

步驟5：實時檢測布料屬性：采集待檢測布料的觸覺視頻，通過步驟2的采幀策略和背景差分處理獲取5張觸覺圖像，輸入到步驟4訓練好的模型中進行屬性檢測，得到布料的厚度、密度、剛性和可拉伸性這四個屬性的估計值。

2.根據權利要求1所述的一種基于觸覺感知的布料屬性檢測方法，其特征在于所述步驟2中的采幀策略方法包括：綜合考慮計算消耗和模型性能，選取具有價值的5張觸覺圖像：起始幀圖像、終止幀圖像以及三張中間幀圖像；這5張觸覺圖像通過計算當前幀圖像的接觸力大小來選擇，其中接觸力的大小是計算當前幀圖像與背景圖像(傳感器與布料沒有接觸時的圖像)的L2距離得到的。

3.根據權利要求1所述的一種基于觸覺感知的布料屬性檢測方法，其特征在于所述步驟2中的圖像背景差分處理方法包括：計算一段觸覺視頻的前10幀圖像的平均值，作為初始背景圖像，將起始幀圖像、終止幀圖像以及三張中間幀圖像這5張觸覺圖像與初始背景圖像的每個像素做減運算，為了使圖像保持一定亮度再加上一個常量128，如果計算出的像素值大于255就設為255，如果像素值小于0就設為0；通過對圖像進行背景差分處理，可以消除不同光照環境的干擾。

4.根據權利要求1所述的一種基于觸覺感知的布料屬性檢測方法，其特征在于所述步驟3中的卷積神經網絡CNN中集成混合域注意力CBAM來構建Tactile CNN模塊，卷積神經網絡CNN采用ResNet-18(不包含最后一個全連接層)的網絡結構，在第一個最大池化層之后和全局平均池化層之前集成混合注意力CBAM模塊，對觸覺圖像中的接觸區域和非接觸區域賦予不同的權重，突出目標屬性的關鍵特征。

5.根據權利要求1所述的一種基于觸覺感知的布料屬性檢測方法，其特征在于所述步驟3中的基于觸覺感知的布料屬性檢測模型，布料屬性檢測模型采用卷積神經網絡TactileCNN模塊和長短時記憶網絡LSTM模型的組合來捕捉觸覺圖像序列的空間特征和時序特征，輸出圖像序列的共享特征，共享特征分別輸入到四個FC模塊中輸出布料的厚度、密度、剛性和可拉伸性這四個屬性估計值。

6.根據權利要求1所述的一種基于觸覺感知的布料屬性檢測方法，其特征在于所述步驟4中的多任務損失函數設計方法包括：分別計算厚度檢測、密度檢測、剛性檢測以及可拉伸性檢測這個四個子任務的損失函數，各個子任務的損失函數之和表示為整體損失函數，并通過為每個子任務損失設置一個動態的權重來平衡學習過程中子任務的影響。