[發明專利]基于視觸覺信號的任務動作及物體物理屬性的識別方法

在審

• 申請號: 202210443616.0
• 申請日: 2022-04-26
• 公開（公告）號: CN114723963A
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 吳涓;陳航;王飛;黃戈文;張軍
• 申請（專利權）人: 東南大學
• 主分類號: G06V10/44
• 分類號: G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 葉倩

本發明公開了一種基于視觸覺信號的任務動作及物體物理屬性的識別方法，包括如下步驟：S1:對執行操作任務時同步采集的視觸覺信息進行預處理；S2:采用先計算經驗特征再利用神經網絡處理的方式提取視觸覺信息中的有效特征；S3：基于最大似然估計理論，以加權組合的形式實現視觸覺特征的融合；S4：實現融合特征與動作類型－物體屬性組合標簽的映射建模，該算法更符合人的感知規律，此外，由于本算法能實現動作類型與物體物理屬性的同步預測，使得算法對機器人的自主操作任務識別具有自適應性和魯棒性。

技術領域

本發明屬于信息交互技術領域，尤其涉及一種基于視觸覺信號的任務動作及物體物理屬性的識別方法。

背景技術

目前，在醫療服務、航天實驗等復雜場景均會涉及多指參與的操作任務，這對于操作的精度、準確度都有更高的要求。人是通過以大腦為主要控制單元，多感官協同運作的方式實現此類任務，而若讓機器人能夠代替人自主實現這些任務，需要其具有較高的智能化水平。這類任務通常具有三個特點：任務是由多個時間上連續的動作組成的；任務中動作的完成效果和操作對象物理屬性極為相關，因此，對任務的描述可以看作是動作類型與對象物理屬性的集合；任務的實現與交互過程中的視覺、力觸覺通道的信息有著密切的關系。因此，為了使機器人具有智能感知和動作遷移能力，需要實現視觸覺多通道信息與動作類型、物體物理屬性的映射模型，機器人在執行具體操作任務時，便可以據此實現相應的動作。

近些年，基于機器學習的機器人自主操作學習方法逐漸被提出來。其中，深度學習可以面向不同任務，自發地從數據中學習特征，從而最大程度地得到抽象化程度高、魯棒性好的特征。Gao等人在發表的論文《Deep learning for tactile understanding fromvisual and haptic data》中將力觸覺序列與視覺圖像分別利用卷積神經網絡提取并融合特征，實現了對感知形容詞的分類，其效果優于使用單一模態時的分類結果。此外，在建立操作任務映射關系時，知識圖譜是一種常見的方法，它是一種揭示實體之間關系的網絡，可以對物體及其相互關系進行形式化地描述。構建知識圖譜是一個迭代更新的過程，每一輪迭代主要包含：知識儲存、信息抽取、知識融合以及知識計算四個階段。Wang等人在發表的論文《Multimodal Data Enhanced Representation Learning for Knowledge Graphs》中基于知識圖譜，建立了多模態數據之間的實體關聯，提升了零次學習等分類任務的精度。然而，上述模型在應用時存在一定的局限性，難以適應復雜的操作任務，并且沒有較好地效仿人進行信息共享與融合的機理，因而不能較好地應用于機器人操作任務學習之中。

發明內容

本發明正是針對現有技術中不能很好的效仿人進行信息共享與融合的問題，提供一種基于視觸覺信號的任務動作及物體物理屬性的識別方法，包括如下步驟：S1:對執行操作任務時同步采集的視觸覺信息進行預處理；S2:采用先計算經驗特征再利用神經網絡處理的方式提取視觸覺信息中的有效特征；S3：基于最大似然估計理論，以加權組合的形式實現視觸覺特征的融合；S4：實現融合特征與動作類型－物體屬性組合標簽的映射建模，該算法更符合人的感知規律，此外，由于本算法能實現動作類型與物體物理屬性的同步預測，使得算法對機器人的自主操作任務識別具有自適應性和魯棒性。

為了實現上述目的，本發明采取的技術方案是：基于視觸覺信號的任務動作及物體物理屬性的識別方法，包括下列步驟：

S1、信息預處理：對執行操作任務時同步采集的原始視觸覺信息進行預處理，所述原始視觸覺信息至少包括根據視頻截取的連續多幀圖像和力觸覺信息，力觸覺信息包括手指指尖壓力、指尖加速度以及根據手指關節角度轉換的三維位置；所述信息預處理至少包括濾除噪聲和剔除冗余信息；