[發(fā)明專利]醫(yī)用人機(jī)交互輔助系統(tǒng)及含該程序的計(jì)算機(jī)可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010691420.4
• 申請日: 2020-07-17
• 公開（公告）號: CN111832656A
• 公開（公告）日: 2020-10-27
• 發(fā)明（設(shè)計(jì)）人: 張立華;謝媛媛;杜洋濤;董志巖
• 申請（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F9/50;G06F40/30;G06N3/04
• 代理公司: 北京紀(jì)凱知識產(chǎn)權(quán)代理有限公司 11245
• 代理人: 陸惠中;王永偉

1.一種醫(yī)用人機(jī)交互輔助系統(tǒng)，包括處理器、存儲器和若干傳感器，其特征是還包括執(zhí)行如下步驟的程序：

由所述傳感器輸入多模態(tài)傳感信息；

對多模態(tài)傳感信息進(jìn)行融合計(jì)算，獲得融合后的多模態(tài)信息；

對多模態(tài)信息進(jìn)行語義理解和分析；

將分析結(jié)果利用交互式方法進(jìn)行系統(tǒng)反饋。

2.如權(quán)利要求1所述的醫(yī)用人機(jī)交互輔助系統(tǒng)，其特征是還包括若干分布式設(shè)備，多模態(tài)信息融合后，將融合的多模態(tài)信息分配給所述分布式設(shè)備進(jìn)行分布式邊緣計(jì)算。

3.如權(quán)利要求1所述的醫(yī)用人機(jī)交互輔助系統(tǒng)，其特征是所述傳感器包括獲取視覺信息的紅外攝像頭、獲取語音信息的超聲波設(shè)備、獲取力學(xué)信息的壓力傳感器和陀螺儀。

4.如權(quán)利要求1所述的醫(yī)用人機(jī)交互輔助系統(tǒng)，其特征是所述對多模態(tài)傳感信息進(jìn)行融合計(jì)算的具體步驟是：

首先，將輸入的多模態(tài)傳感信息利用系統(tǒng)標(biāo)定算法對場景進(jìn)行一個自標(biāo)定；

其次，將標(biāo)定完成的信息輸入事先訓(xùn)練完成的信息配準(zhǔn)深度網(wǎng)絡(luò)進(jìn)行多模態(tài)信息配準(zhǔn)；

最后，將配準(zhǔn)完成后的多模態(tài)信息利用融合算法提取深層次的特征信息構(gòu)成多模態(tài)融合信息。

5.如權(quán)利要求4所述的醫(yī)用人機(jī)交互輔助系統(tǒng)，其特征是所述語義理解和分析的具體步驟是：

利用事先訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，對每個分布式設(shè)備中的多模態(tài)融合信息進(jìn)行特征提取；

利用主成分分析方法對特征中的主要特征進(jìn)行辨別；

計(jì)算提取的主成分特征相對于原始特征的損失，并將信息一起輸入長短期記憶網(wǎng)絡(luò)；

對多模態(tài)信息進(jìn)行時序理解，獲得具有時空分辨率的行為語義信息。

6.一種包含程序的計(jì)算機(jī)可讀存儲介質(zhì)，其特征是所述程序包括如下步驟：

由若干傳感器輸入多模態(tài)傳感信息；

對多模態(tài)傳感信息進(jìn)行融合計(jì)算，獲得融合后的多模態(tài)信息；

對獲取的多模態(tài)信息進(jìn)行語義理解和分析；

將分析結(jié)果利用交互式方法進(jìn)行系統(tǒng)反饋。

7.如權(quán)利要求6所述的計(jì)算機(jī)可讀存儲介質(zhì)，其特征是所述對多模態(tài)傳感信息進(jìn)行融合計(jì)算的具體步驟是：

首先，將輸入的多模態(tài)傳感信息利用系統(tǒng)標(biāo)定算法對場景進(jìn)行一個自標(biāo)定；

其次，將標(biāo)定完成的信息輸入事先訓(xùn)練完成的信息配準(zhǔn)深度網(wǎng)絡(luò)進(jìn)行多模態(tài)信息配準(zhǔn)；

最后，將配準(zhǔn)完成后的多模態(tài)信息利用融合算法提取深層次的特征信息構(gòu)成多模態(tài)融合信息。

8.如權(quán)利要求6所述的計(jì)算機(jī)可讀存儲介質(zhì)，其特征是所述語義理解和分析的具體步驟是：

利用事先訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，對每個分布式設(shè)備中的多模態(tài)融合信息進(jìn)行特征提取；

利用主成分分析方法對特征中的主要特征進(jìn)行辨別；

計(jì)算提取的主成分特征相對于原始特征的損失，并將信息一起輸入長短期記憶網(wǎng)絡(luò)；

對多模態(tài)信息進(jìn)行時序理解，獲得具有時空分辨率的行為語義信息。