[發(fā)明專(zhuān)利]多模態(tài)融合的動(dòng)作識(shí)別方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201810877125.0
• 申請(qǐng)日: 2018-08-03
• 公開(kāi)（公告）號(hào): CN110795973A
• 公開(kāi)（公告）日: 2020-02-14
• 發(fā)明（設(shè)計(jì)）人: 劉家瑛;蔣鴻達(dá);宋思捷;厲揚(yáng)豪;郭宗明
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京大學(xué);北大方正集團(tuán)有限公司;北京北大方正電子有限公司
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06N3/04
• 代理公司: 11205 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 張芳;劉芳

本發(fā)明提供一種多模態(tài)融合的動(dòng)作識(shí)別方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，方法包括：通過(guò)預(yù)設(shè)的單模態(tài)待訓(xùn)練數(shù)據(jù)對(duì)至少一個(gè)單模態(tài)待訓(xùn)練模型進(jìn)行訓(xùn)練，獲得至少一個(gè)單模態(tài)神經(jīng)網(wǎng)絡(luò)模型；在任意兩個(gè)所述單模態(tài)神經(jīng)網(wǎng)絡(luò)模型之間添加信息流動(dòng)連接，獲得多模態(tài)待訓(xùn)練模型；通過(guò)預(yù)設(shè)的多模態(tài)待訓(xùn)練數(shù)據(jù)對(duì)所述多模態(tài)待訓(xùn)練模型進(jìn)行訓(xùn)練，獲得多模態(tài)神經(jīng)網(wǎng)絡(luò)模型；將待識(shí)別多模態(tài)數(shù)據(jù)添加至所述多模態(tài)神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行識(shí)別。從而能夠?qū)崿F(xiàn)對(duì)多模態(tài)待識(shí)別設(shè)備的處理，提高神經(jīng)網(wǎng)絡(luò)模型的性能。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，尤其涉及一種多模態(tài)融合的動(dòng)作識(shí)別方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著科技的發(fā)展，用于認(rèn)知的人工智能得到了很大的發(fā)展，應(yīng)用新穎的材料和先進(jìn)的技術(shù)，認(rèn)知的能力也有了顯著地進(jìn)步，從環(huán)境的認(rèn)知，到人體的認(rèn)知，從靜態(tài)的認(rèn)知，到動(dòng)態(tài)的認(rèn)知。對(duì)于認(rèn)知而言，一個(gè)重要環(huán)節(jié)就是對(duì)人體的認(rèn)知，利用計(jì)算機(jī)視覺(jué)的人工智能在實(shí)際的認(rèn)知中，動(dòng)作的識(shí)別是其中比較重要的一個(gè)部分。人體的動(dòng)作是指身體的活動(dòng)或行動(dòng)，在日常的生活，人體本身就是一個(gè)動(dòng)態(tài)的生活過(guò)程，所謂的靜態(tài)也只是動(dòng)態(tài)的一個(gè)銜接過(guò)程。因而，提高認(rèn)知的能力，其中的一個(gè)大問(wèn)題就是人體動(dòng)作的識(shí)別研究。

為了實(shí)現(xiàn)對(duì)動(dòng)作的識(shí)別，現(xiàn)有技術(shù)中一般都是建立動(dòng)作識(shí)別網(wǎng)絡(luò)模型，并對(duì)其進(jìn)行訓(xùn)練，后續(xù)可以將待識(shí)別數(shù)據(jù)添加至動(dòng)作識(shí)別網(wǎng)絡(luò)模型中進(jìn)行識(shí)別。

但是，隨著深度攝像機(jī)的發(fā)展，可以獲取的視頻信息越來(lái)越豐富，除傳統(tǒng)的RGB視頻之外，深度視頻、紅外視頻、人體骨架視頻等視頻模態(tài)也更易獲得。不同模態(tài)的視頻具有不同的特征，以深度視頻為例，相比較RGB視頻，深度視頻去除了紋理信息，但增加了第三維的信息，在刻畫(huà)動(dòng)作時(shí)具有更好的空域表現(xiàn)能力。然而，上述方法只能夠?qū)崿F(xiàn)對(duì)一種模態(tài)的數(shù)據(jù)進(jìn)行動(dòng)作識(shí)別，由于多模態(tài)數(shù)據(jù)在表現(xiàn)形式上的差異性，不同模態(tài)間互補(bǔ)信息的挖掘依然存在困難。

發(fā)明內(nèi)容

本發(fā)明提供一種多模態(tài)融合的動(dòng)作識(shí)別方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于解決現(xiàn)有技術(shù)中由于多模態(tài)數(shù)據(jù)在表現(xiàn)形式上的差異性，不同模態(tài)的待識(shí)別數(shù)據(jù)無(wú)法進(jìn)行動(dòng)作識(shí)別的技術(shù)問(wèn)題。

本發(fā)明的第一個(gè)方面是提供一種多模態(tài)融合的動(dòng)作識(shí)別方法，包括：

通過(guò)預(yù)設(shè)的單模態(tài)待訓(xùn)練數(shù)據(jù)對(duì)至少一個(gè)單模態(tài)待訓(xùn)練模型進(jìn)行訓(xùn)練，獲得至少一個(gè)單模態(tài)神經(jīng)網(wǎng)絡(luò)模型；

在任意兩個(gè)所述單模態(tài)神經(jīng)網(wǎng)絡(luò)模型之間添加信息流動(dòng)連接，獲得多模態(tài)待訓(xùn)練模型；

通過(guò)預(yù)設(shè)的多模態(tài)待訓(xùn)練數(shù)據(jù)對(duì)所述多模態(tài)待訓(xùn)練模型進(jìn)行訓(xùn)練，獲得多模態(tài)神經(jīng)網(wǎng)絡(luò)模型；

將待識(shí)別多模態(tài)數(shù)據(jù)添加至所述多模態(tài)神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行識(shí)別。

本發(fā)明的另一個(gè)方面是提供一種多模態(tài)融合的動(dòng)作識(shí)別裝置，包括：

第一訓(xùn)練模塊，用于通過(guò)預(yù)設(shè)的單模態(tài)待訓(xùn)練數(shù)據(jù)對(duì)至少一個(gè)單模態(tài)待訓(xùn)練模型進(jìn)行訓(xùn)練，獲得至少一個(gè)單模態(tài)神經(jīng)網(wǎng)絡(luò)模型；

連接模塊，用于在任意兩個(gè)所述單模態(tài)神經(jīng)網(wǎng)絡(luò)模型之間添加信息流動(dòng)連接，獲得多模態(tài)待訓(xùn)練模型；

第二訓(xùn)練模塊，用于通過(guò)預(yù)設(shè)的多模態(tài)待訓(xùn)練數(shù)據(jù)對(duì)所述多模態(tài)待訓(xùn)練模型進(jìn)行訓(xùn)練，獲得多模態(tài)神經(jīng)網(wǎng)絡(luò)模型；

識(shí)別模塊，用于將待識(shí)別多模態(tài)數(shù)據(jù)添加至所述多模態(tài)神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行識(shí)別。

本發(fā)明的又一個(gè)方面是提供一種多模態(tài)融合的動(dòng)作識(shí)別裝置，包括：存儲(chǔ)器，處理器；

存儲(chǔ)器；用于存儲(chǔ)所述處理器可執(zhí)行指令的存儲(chǔ)器；

其中，所述處理器被配置為由所述處理器執(zhí)行如上述的多模態(tài)融合的動(dòng)作識(shí)別方法。