[發明專利]醫用人機交互輔助系統及含該程序的計算機可讀存儲介質

在審

• 申請號: 202010691420.4
• 申請日: 2020-07-17
• 公開（公告）號: CN111832656A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 張立華;謝媛媛;杜洋濤;董志巖
• 申請（專利權）人: 復旦大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F9/50;G06F40/30;G06N3/04
• 代理公司: 北京紀凱知識產權代理有限公司 11245
• 代理人: 陸惠中;王永偉

1.一種醫用人機交互輔助系統，包括處理器、存儲器和若干傳感器，其特征是還包括執行如下步驟的程序：

由所述傳感器輸入多模態傳感信息；

對多模態傳感信息進行融合計算，獲得融合后的多模態信息；

對多模態信息進行語義理解和分析；

將分析結果利用交互式方法進行系統反饋。

2.如權利要求1所述的醫用人機交互輔助系統，其特征是還包括若干分布式設備，多模態信息融合后，將融合的多模態信息分配給所述分布式設備進行分布式邊緣計算。

3.如權利要求1所述的醫用人機交互輔助系統，其特征是所述傳感器包括獲取視覺信息的紅外攝像頭、獲取語音信息的超聲波設備、獲取力學信息的壓力傳感器和陀螺儀。

4.如權利要求1所述的醫用人機交互輔助系統，其特征是所述對多模態傳感信息進行融合計算的具體步驟是：

首先，將輸入的多模態傳感信息利用系統標定算法對場景進行一個自標定；

其次，將標定完成的信息輸入事先訓練完成的信息配準深度網絡進行多模態信息配準；

最后，將配準完成后的多模態信息利用融合算法提取深層次的特征信息構成多模態融合信息。

5.如權利要求4所述的醫用人機交互輔助系統，其特征是所述語義理解和分析的具體步驟是：

利用事先訓練好的卷積神經網絡，對每個分布式設備中的多模態融合信息進行特征提取；

利用主成分分析方法對特征中的主要特征進行辨別；

計算提取的主成分特征相對于原始特征的損失，并將信息一起輸入長短期記憶網絡；

對多模態信息進行時序理解，獲得具有時空分辨率的行為語義信息。

6.一種包含程序的計算機可讀存儲介質，其特征是所述程序包括如下步驟：

由若干傳感器輸入多模態傳感信息；

對多模態傳感信息進行融合計算，獲得融合后的多模態信息；

對獲取的多模態信息進行語義理解和分析；

將分析結果利用交互式方法進行系統反饋。

7.如權利要求6所述的計算機可讀存儲介質，其特征是所述對多模態傳感信息進行融合計算的具體步驟是：

首先，將輸入的多模態傳感信息利用系統標定算法對場景進行一個自標定；

其次，將標定完成的信息輸入事先訓練完成的信息配準深度網絡進行多模態信息配準；

最后，將配準完成后的多模態信息利用融合算法提取深層次的特征信息構成多模態融合信息。

8.如權利要求6所述的計算機可讀存儲介質，其特征是所述語義理解和分析的具體步驟是：

利用事先訓練好的卷積神經網絡，對每個分布式設備中的多模態融合信息進行特征提取；

利用主成分分析方法對特征中的主要特征進行辨別；

計算提取的主成分特征相對于原始特征的損失，并將信息一起輸入長短期記憶網絡；

對多模態信息進行時序理解，獲得具有時空分辨率的行為語義信息。