[發明專利]醫用人機交互輔助系統及含該程序的計算機可讀存儲介質

在審

• 申請號: 202010691420.4
• 申請日: 2020-07-17
• 公開（公告）號: CN111832656A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 張立華;謝媛媛;杜洋濤;董志巖
• 申請（專利權）人: 復旦大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F9/50;G06F40/30;G06N3/04
• 代理公司: 北京紀凱知識產權代理有限公司 11245
• 代理人: 陸惠中;王永偉

本發明公開了一種醫用人機交互輔助系統，它克服了目前醫用人機交互輔助系統功能單一、感知范式窄、交互頻率低的缺點。一種醫用人機交互輔助系統，包括處理器、存儲器和若干傳感器，還包括執行如下步驟的程序：由所述傳感器輸入多模態傳感信息；對多模態傳感信息進行融合計算，獲得融合后的多模態信息；對獲取的多模態信息進行語義理解和分析；將分析結果利用交互式方法進行系統反饋。還包括若干分布式設備，多模態信息融合后，將融合的多模態信息分配給所述分布式設備進行分布式邊緣計算。本發明為現今醫療行業提供一個模態豐富且高效的邊緣智能終端。

技術領域

本發明涉及一種醫用人機交互輔助系統，還涉及一種包括該程序的計算機可讀存儲介質。

背景技術

多年來，現實中的人機交互技術不斷發展并取得較大進步，現有的人機交互技術主要有手勢識別技術、語音交互技術、觸覺反饋技術、眼動跟蹤技術、生理計算技術等。

醫用人機交互輔助系統可以利用智能化和信息化技術提升醫療服務的品質和效率，但現有的醫用人機交互輔助系統利用單一的交互技術，感知范圍窄；算力有限，對復雜且高維度的信息進行處理延時較高、系統的交互頻率低。

這是現有技術的不足。

發明內容

針對現有技術的不足，本發明要解決的技術問題是提供一種醫用人機交互輔助系統，它克服了目前醫用人機交互輔助系統功能單一、感知范式窄、交互頻率低等缺點，為現今醫療行業提供一個模態豐富且高效的邊緣智能終端。

為了解決上述技術問題，本發明的技術方案是：一種醫用人機交互輔助系統，包括處理器、存儲器和若干傳感器，其特征是還包括執行如下步驟的程序：

由所述傳感器輸入多模態傳感信息；

對多模態傳感信息進行融合計算，獲得融合后的多模態信息；

對獲取的多模態信息進行語義理解和分析；

將分析結果利用交互式方法進行系統反饋。

還包括若干分布式設備，多模態信息融合后，將融合的多模態信息分配給所述分布式設備進行分布式邊緣計算。

所述傳感器包括獲取視覺信息的紅外攝像頭、獲取語音信息的超聲波設備、獲取力學信息的壓力傳感器和陀螺儀。

所述對多模態傳感信息進行融合計算的具體步驟是：

首先，將輸入的多模態傳感信息利用系統標定算法對場景進行一個自標定；

其次，將標定完成的信息輸入事先訓練完成的信息配準深度網絡進行多模態信息配準；

最后，將配準完成后的多模態信息利用融合算法提取深層次的特征信息構成多模態融合信息。

所述語義理解和分析的具體步驟是：

利用事先訓練好的卷積神經網絡，對每個分布式設備中的多模態融合信息進行特征提取；

利用主成分分析方法對特征中的主要特征進行辨別；

計算提取的主成分特征相對于原始特征的損失，并將信息一起輸入長短期記憶網絡；

對多模態信息進行時序理解，獲得具有時空分辨率的行為語義信息。

本發明具有如下有益技術效果：

一、利用多模態傳感器可以獲得范圍更廣、信息層次更深的混合現實場景信息，同時利用多模態信息融合技術，可以對冗余場景信息進行過濾形成稀疏表示的融合信息，更利于后續的信息處理。

二、以可重構、分布式的邊緣計算方式為底層特色，將復雜且高維度的信息進行分布式計算，有效的提高了計算效率，提高了交互的頻率。