[發(fā)明專利]機器人自主超聲掃查技能策略生成方法、裝置及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111298599.8
• 申請日: 2021-11-04
• 公開（公告）號: CN114155940A
• 公開（公告）日: 2022-03-08
• 發(fā)明（設計）人: 孫富春;劉乃軍;宋亦旭
• 申請（專利權(quán)）人: 清華大學
• 主分類號: G16H30/20
• 分類號: G16H30/20;G16H40/60;G06T15/04;G06T19/00;G06N3/04;G06N3/08;G06K9/62;G06V10/774;G06V10/80;G06V10/82
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務所(普通合伙) 11201
• 代理人: 廖元秋

本公開實施例提供的機器人自主超聲掃查技能策略生成方法、裝置及存儲介質(zhì)，包括：采集機器人超聲掃查過程中的多模態(tài)數(shù)據(jù)，輸入到多模態(tài)特征融合網(wǎng)絡進行學習以獲取多模態(tài)數(shù)據(jù)的融合特征；構(gòu)建機器人超聲掃查技能的虛擬訓練環(huán)境，采用自主域隨機化方法對虛擬訓練環(huán)境的紋理渲染以及與超聲掃查操作相關的動力學參數(shù)進行隨機化處理，得到多樣化的機器人超聲掃查訓練環(huán)境；構(gòu)建自主超聲掃查技能策略模型，結(jié)合模仿學習與強化學習方法并利用融合特征對自主超聲掃查技能策略模型進行訓練，用于生成自主超聲掃查技能策略。本公開可在無人干預的條件下實現(xiàn)準確、高效的超聲掃查任務。

技術領域

本公開涉及醫(yī)療機器人領域，特別涉及機器人自主超聲掃查技能策略生成方法、裝置及存儲介質(zhì)。

背景技術

超聲掃查作為現(xiàn)代醫(yī)學檢查中不可或缺的診斷手段，在臨床中的應用范圍極為廣泛。隨著遠程醫(yī)療會診技術的發(fā)展，通過遠程超聲掃查來診斷疾病也逐漸成為可能。當前一種可行的方案是遠程醫(yī)生專家通過遙操作方式來控制超聲探頭的運動實現(xiàn)對掃查對象相應器官部位的超聲掃查。然而由于遠程遙操作中不可避免的時延問題導致醫(yī)生端遙操作手柄的運動不能立刻作用到超聲探頭端，導致診斷體驗不佳及效率低。另一方面，醫(yī)生專業(yè)水平的高低以及對遙操作設備的熟練程度也會對遠程超聲掃查結(jié)果產(chǎn)生影響。因此設計具備智能化的自主超聲掃查技能策略生成裝置，使機器人以高適應性自主完成對掃查對象身體各部位的超聲掃查就顯得極為必要。

發(fā)明內(nèi)容

本公開旨在解決上述問題之一。

為此，本公開實施例提供的機器人自主超聲掃查技能策略生成方法，包括：

采集機器人超聲掃查過程中的多模態(tài)數(shù)據(jù)，輸入到多模態(tài)特征融合網(wǎng)絡進行學習以獲取所述多模態(tài)數(shù)據(jù)的融合特征；

構(gòu)建機器人超聲掃查技能的虛擬訓練環(huán)境，采用自主域隨機化方法對所述虛擬訓練環(huán)境的紋理渲染以及與超聲掃查操作相關的動力學參數(shù)進行隨機化處理，得到多樣化的機器人超聲掃查訓練環(huán)境；構(gòu)建自主超聲掃查技能策略模型，結(jié)合模仿學習與強化學習方法并利用所述融合特征對所述自主超聲掃查技能策略模型進行訓練，得到訓練完畢的自主超聲掃查技能策略模型，用于生成自主超聲掃查技能策略。

本公開第一方面實施例提供的機器人自主超聲掃查技能策略生成方法，具有以下特點及有益效果：

本公開第一方面實施例提供的機器人自主超聲掃查技能策略生成方法，通過收集超聲掃查過程中的多模態(tài)感知信息并進行融合得到了一個魯棒的特征表達可以較好的克服超聲掃查自主操作過程中因遮擋等因素導致的特征表達魯棒性弱問題。通過融合模仿學習與強化學習的超聲掃查技能學習方法高效地完成對超聲掃查技能的學習，并使學習后的技能以較好的自適應性滿足對掃查對象身體部位的智能超聲掃查要求。

在一些實施例中，所述多模態(tài)數(shù)據(jù)包括機器人超聲掃查過程中的RGB圖像、深度圖像、觸覺圖像以及機器人末端超聲探頭與掃查對象接觸時的六維力/力矩。

在一些實施例中，所述多模態(tài)特征融合網(wǎng)絡包括多模態(tài)融合子網(wǎng)絡以及與所述多模態(tài)融合子網(wǎng)絡的輸入端并行連接的RGB圖像特征提取子網(wǎng)絡、深度圖像特征提取子網(wǎng)絡、觸覺特征提取子網(wǎng)絡和六維力/力矩特征提取子網(wǎng)絡。