[發(fā)明專利]一種基于人工智能的人機(jī)交互方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202210376694.3
• 申請(qǐng)日: 2022-04-12
• 公開（公告）號(hào): CN114461078B
• 公開（公告）日: 2022-07-15
• 發(fā)明（設(shè)計(jì)）人: 王田;程嘉翔;丁好;呂金虎;張寶昌;劉克新
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06V20/40;G06V40/16;G06V40/20
• 代理公司: 北京康思博達(dá)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11426
• 代理人: 范國鋒

1.一種基于人工智能的人機(jī)交互方法，其特征在于，包括以下步驟：

建立識(shí)別模型；

將視頻輸入識(shí)別模型，對(duì)視頻識(shí)別，獲得視頻中人物的動(dòng)態(tài)手勢(shì)；

所述識(shí)別模型包括空間通道子模型和時(shí)間通道子模型，

空間通道子模型處理針對(duì)視頻幀的空間信息，時(shí)間通道子模型處理針對(duì)視頻片段時(shí)序信息、運(yùn)動(dòng)特征的信息；

在對(duì)視頻識(shí)別時(shí)，從視頻中獲得幀圖片和光流估計(jì)，將幀圖片輸入所述空間通道子模型中，獲得第一動(dòng)態(tài)手勢(shì)行為概率；

將光流估計(jì)輸入所述時(shí)間通道子模型中，獲得第二動(dòng)態(tài)手勢(shì)行為概率；

將第一動(dòng)態(tài)手勢(shì)行為概率和第二動(dòng)態(tài)手勢(shì)行為概率加權(quán)平均，獲得最終識(shí)別結(jié)果；

所述空間通道子模型為通過視頻幀圖片對(duì)I3D模型訓(xùn)練得到；所述時(shí)間通道子模型為通過視頻光流估計(jì)對(duì)I3D模型訓(xùn)練得到；

采用OpenCV對(duì)視頻片段逐幀抽取獲得視頻幀圖片，通過Farnback方法對(duì)視頻片段處理獲得光流估計(jì)；

在對(duì)視頻識(shí)別時(shí)，采用多線程技術(shù)，將獲得幀圖片和光流估計(jì)作為第一獨(dú)立線程，將獲得第一動(dòng)態(tài)手勢(shì)行為概率、第二動(dòng)態(tài)手勢(shì)行為概率以及二者的加權(quán)平均作為第二獨(dú)立線程；

第一獨(dú)立線程由CPU執(zhí)行，在第一獨(dú)立線程執(zhí)行完畢后，檢測(cè)GPU是否空閑：若GPU空閑，由GPU執(zhí)行第二獨(dú)立線程，待第二獨(dú)立線程執(zhí)行完畢后，再次進(jìn)行第一獨(dú)立線程對(duì)后續(xù)視頻進(jìn)行識(shí)別；若GPU不處于空閑狀態(tài)，則重復(fù)執(zhí)行第一線程，對(duì)后續(xù)視頻進(jìn)行幀圖片和光流估計(jì)的獲取；

在對(duì)視頻識(shí)別時(shí)，還對(duì)會(huì)議主持人的人臉進(jìn)行識(shí)別，在獲取幀圖片和光流估計(jì)時(shí)，僅保留主持人的相關(guān)信息，刪除其它人的相關(guān)信息。

2.根據(jù)權(quán)利要求1所述的基于人工智能的人機(jī)交互方法，其特征在于，

訓(xùn)練用視頻幀圖片和視頻光流估計(jì)為對(duì)視頻訓(xùn)練集處理獲得；

所述視頻訓(xùn)練集中包含多個(gè)具有會(huì)議手勢(shì)動(dòng)作的視頻片段。