[發(fā)明專利]機器人自主超聲掃查技能策略生成方法、裝置及存儲介質

在審

• 申請?zhí)枺?/td>: 202111298599.8
• 申請日: 2021-11-04
• 公開（公告）號: CN114155940A
• 公開（公告）日: 2022-03-08
• 發(fā)明（設計）人: 孫富春;劉乃軍;宋亦旭
• 申請（專利權）人: 清華大學
• 主分類號: G16H30/20
• 分類號: G16H30/20;G16H40/60;G06T15/04;G06T19/00;G06N3/04;G06N3/08;G06K9/62;G06V10/774;G06V10/80;G06V10/82
• 代理公司: 北京清亦華知識產(chǎn)權代理事務所(普通合伙) 11201
• 代理人: 廖元秋

1.一種機器人自主超聲掃查技能策略生成方法，其特征在于，包括：

采集機器人超聲掃查過程中的多模態(tài)數(shù)據(jù)，輸入到多模態(tài)特征融合網(wǎng)絡進行學習以獲取所述多模態(tài)數(shù)據(jù)的融合特征；

構建機器人超聲掃查技能的虛擬訓練環(huán)境，采用自主域隨機化方法對所述虛擬訓練環(huán)境的紋理渲染以及與超聲掃查操作相關的動力學參數(shù)進行隨機化處理，得到多樣化的機器人超聲掃查訓練環(huán)境；構建自主超聲掃查技能策略模型，結合模仿學習與強化學習方法并利用所述融合特征對所述自主超聲掃查技能策略模型進行訓練，得到訓練完畢的自主超聲掃查技能策略模型，用于生成自主超聲掃查技能策略。

2.根據(jù)權利要求1所述的機器人自主超聲掃查技能策略生成方法，其特征在于，所述多模態(tài)數(shù)據(jù)包括機器人超聲掃查過程中的RGB圖像、深度圖像、觸覺圖像以及機器人末端超聲探頭與掃查對象接觸時的六維力/力矩。

3.根據(jù)權利要求2所述的機器人自主超聲掃查技能策略生成方法，其特征在于，所述多模態(tài)特征融合網(wǎng)絡包括多模態(tài)融合子網(wǎng)絡以及與所述多模態(tài)融合子網(wǎng)絡的輸入端并行連接的RGB圖像特征提取子網(wǎng)絡、深度圖像特征提取子網(wǎng)絡、觸覺特征提取子網(wǎng)絡和六維力/力矩特征提取子網(wǎng)絡。

4.根據(jù)權利要求3所述的機器人自主超聲掃查技能策略生成方法，其特征在于，所述RGB圖像特征提取子網(wǎng)絡的輸入為240×240×3的RGB圖像，輸出為32維的RGB圖像特征向量，所述RGB圖像特征提取子網(wǎng)絡具有4層第一卷積層和1層第一全連接層，各第一卷積層的通道數(shù)分別為16,32,64,32，每層第一卷積層的滑動步長均為2，卷積核尺寸均為2×2，第一全連接層的神經(jīng)元個數(shù)為32，均采用ReLU激活函數(shù)；所述深度圖像特征提取子網(wǎng)絡的輸入為240×240×1的深度圖像，輸出為32維的深度圖像特征向量，所述深度圖像特征提取子網(wǎng)絡具有4層第二卷積層和1層第二全連接層，各第二卷積層的通道數(shù)分別為16,32,64,32，每層第二卷積層的滑動步長均為2，卷積核尺寸均為2×2，第二全連接層的神經(jīng)元個數(shù)為64，均采用ReLU激活函數(shù)；所述觸覺圖像特征提取子網(wǎng)絡的輸入為128×128×3的觸覺圖像，輸出為32維的觸覺圖像特征向量，所述觸覺圖像特征提取子網(wǎng)絡具有4層第三卷積層和1層第三全連接層，各第三卷積層的通道數(shù)分別為16,32,64,32，每層第三卷積層的滑動步長均為2，卷積核尺寸均為2×2，第三全連接層的神經(jīng)元個數(shù)為64，均采用ReLU激活函數(shù)；所述六維力/力矩特征提取子網(wǎng)絡的輸入為將連續(xù)3個時刻的空間六維力/力矩拼接得到的18維向量，輸出為32維的力特征向量，所述六維力/力矩特征提取子網(wǎng)絡具有3層第四全連接層，各第四全連接層的神經(jīng)元個數(shù)分別為128,128,64，均采用ReLU激活函數(shù)；所述多模態(tài)融合子網(wǎng)絡具有1層第五全連接層，其神經(jīng)元個數(shù)為128，均采用ReLU激活函數(shù)，將提取的維度分別為32維的RGB圖像特征向量、深度圖像特征向量、觸覺圖像特征向量和力特征向量連接在一起后輸入到第五全連接層，得到128維的融合特征向量。

5.根據(jù)權利要求4所述的機器人自主超聲掃查技能策略生成方法，其特征在于，在所述構建機器人超聲掃查技能的虛擬訓練環(huán)境前，還包括：將采集的所述多模態(tài)數(shù)據(jù)補全和對齊后，采用自監(jiān)督學習方法對所述多模態(tài)數(shù)據(jù)融合網(wǎng)絡進行訓練。