[發(fā)明專利]一種基于多模態(tài)融合深度學(xué)習(xí)的物體材質(zhì)分類方法

有效

• 申請?zhí)枺?/td>: 201710599106.1
• 申請日: 2017-07-21
• 公開（公告）號: CN107463952B
• 公開（公告）日: 2020-04-03
• 發(fā)明（設(shè)計）人: 劉華平;方靜;劉曉楠;孫富春
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 羅文群

本發(fā)明涉及一種基于多模態(tài)融合深度學(xué)習(xí)的物體材質(zhì)分類方法，屬于計算機(jī)視覺、人工智能和材質(zhì)分類技術(shù)領(lǐng)域。本發(fā)明是基于多模態(tài)融合深度學(xué)習(xí)的物體材質(zhì)分類方法??一種基于多尺度局部感受野的超限學(xué)習(xí)機(jī)的多模態(tài)融合方法。本發(fā)明將物體材質(zhì)的不同模態(tài)的感知信息(包括視覺圖像、觸覺加速度信號和觸覺聲音信號)進(jìn)行融合，最終實(shí)現(xiàn)物體材質(zhì)的正確分類。該方法不僅可以利用多尺度局部感受野對現(xiàn)實(shí)復(fù)雜材質(zhì)進(jìn)行高代表性特征提取，而且可以有效融合各個模態(tài)信息，實(shí)現(xiàn)模態(tài)之間信息互補(bǔ)。利用本發(fā)明的方法可以提高復(fù)雜材質(zhì)分類的魯棒性和準(zhǔn)確性，使之有更大的適用性和通用性。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于多模態(tài)融合深度學(xué)習(xí)的物體材質(zhì)分類方法，屬于計算機(jī)視覺、人工智能和材質(zhì)分類技術(shù)領(lǐng)域。

背景技術(shù)

大千世界，材質(zhì)種類繁多，可以分為塑料、金屬、陶瓷，玻璃、木材、紡織品、石材、紙、橡膠和泡沫等種類。最近，物體材質(zhì)分類已經(jīng)極大地引起社會環(huán)保，工業(yè)界以及學(xué)術(shù)界的關(guān)注。比如材質(zhì)的分類可以有效的用于材料的循環(huán)利用；包裝材料的四大支柱：紙，塑料，金屬和玻璃，在不同的市場需求下需要不能材質(zhì)的包裝。對于需要長距離運(yùn)輸?shù)珜\(yùn)輸質(zhì)量無特殊要求，一般選用紙，紙板以及包裝箱紙板；對于食品包裝應(yīng)該符合衛(wèi)生標(biāo)定，糕點(diǎn)等直接入口食品的包裝應(yīng)使用紙盒紙板，食鹽等防光防潮的使用罐裝，快餐盒的制造可以使用天然植物纖維；合理使用裝飾材料是室內(nèi)裝飾成功的關(guān)鍵。基于上述問題的需求，研究一套能夠自動對物體材質(zhì)分類的方法就顯得十分必要。

物體材質(zhì)分類主流的方法是使用包含豐富信息的視覺圖像，但是對于外觀極其相似的兩個物體僅用視覺圖像是不能夠區(qū)分的。假設(shè)有兩個物體：一個紅色粗糙的紙和一個紅色的塑料箔，視覺圖像對這兩個物體具有較小的區(qū)分能力。但是對于上述假設(shè)，人腦會本能的將同一物體的不同模態(tài)感知特征進(jìn)行融合，從而達(dá)到對物體材質(zhì)分類的目的。受此啟發(fā)，要使計算機(jī)實(shí)現(xiàn)對物體材質(zhì)的自動分類，可以同時使用物體不同模態(tài)信息來進(jìn)行物體材質(zhì)分類。

當(dāng)前也有公開技術(shù)用于物體材質(zhì)分類，如中國專利申請CN105005787A—一種基于靈巧手觸覺信息的聯(lián)合稀疏編碼的材質(zhì)分類。此發(fā)明對材質(zhì)分類僅使用了觸覺序列，并未將材質(zhì)的多種模態(tài)信息結(jié)合起來。觀察到僅使用視覺圖像對物體材質(zhì)分類不能魯棒地捕獲材質(zhì)特征，如硬度或粗糙度。可以假設(shè)當(dāng)剛性工具拖動或移動到不同物體的表面上時，工具將產(chǎn)生不同頻率的振動和聲音，因此可以使用與視覺互補(bǔ)的觸覺信息來進(jìn)行物體材質(zhì)的分類。然而，如何有效地將視覺模態(tài)與觸覺模態(tài)結(jié)合仍然是一個具有挑戰(zhàn)性的問題。

發(fā)明內(nèi)容

本發(fā)明目的是提出一種基于多模態(tài)融合深度學(xué)習(xí)的物體材質(zhì)分類方法，在基于多尺度局部感受野的超限學(xué)習(xí)機(jī)方法的基礎(chǔ)上實(shí)現(xiàn)多模態(tài)信息融合的物體材質(zhì)分類，以提高分類的魯棒性和準(zhǔn)確性，并有效地融合物體材質(zhì)的多種模態(tài)信息進(jìn)行材質(zhì)分類。

本發(fā)明提出的基于多模態(tài)融合深度學(xué)習(xí)的物體材質(zhì)分類方法，包括以下步驟：

(1)設(shè)訓(xùn)練樣本個數(shù)為N₁，訓(xùn)練樣本材質(zhì)種類為M₁個，記每類材質(zhì)訓(xùn)練樣本的標(biāo)簽為其中1≤M₁≤N₁，分別采集所有N₁個訓(xùn)練樣本的視覺圖像I₁、觸覺加速度A₁和觸覺聲音S₁，建立一個包括I₁、A₁和S₁的數(shù)據(jù)集D₁，I₁的圖像大小為320×480；