[發(fā)明專利]多模態(tài)融合的動作識別方法、裝置及計算機可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201810877125.0
• 申請日: 2018-08-03
• 公開（公告）號: CN110795973A
• 公開（公告）日: 2020-02-14
• 發(fā)明（設(shè)計）人: 劉家瑛;蔣鴻達;宋思捷;厲揚豪;郭宗明
• 申請（專利權(quán)）人: 北京大學(xué);北大方正集團有限公司;北京北大方正電子有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 11205 北京同立鈞成知識產(chǎn)權(quán)代理有限公司
• 代理人: 張芳;劉芳

1.一種多模態(tài)融合的動作識別方法，其特征在于，包括：

通過預(yù)設(shè)的單模態(tài)待訓(xùn)練數(shù)據(jù)對至少一個單模態(tài)待訓(xùn)練模型進行訓(xùn)練，獲得至少一個單模態(tài)神經(jīng)網(wǎng)絡(luò)模型；

在任意兩個所述單模態(tài)神經(jīng)網(wǎng)絡(luò)模型之間添加信息流動連接，獲得多模態(tài)待訓(xùn)練模型；

通過預(yù)設(shè)的多模態(tài)待訓(xùn)練數(shù)據(jù)對所述多模態(tài)待訓(xùn)練模型進行訓(xùn)練，獲得多模態(tài)神經(jīng)網(wǎng)絡(luò)模型；

將待識別多模態(tài)數(shù)據(jù)添加至所述多模態(tài)神經(jīng)網(wǎng)絡(luò)模型中進行識別。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過預(yù)設(shè)的單模態(tài)待訓(xùn)練數(shù)據(jù)對至少一個單模態(tài)待訓(xùn)練模型進行訓(xùn)練，獲得至少一個單模態(tài)神經(jīng)網(wǎng)絡(luò)模型，包括：

將所述單模態(tài)待訓(xùn)練數(shù)據(jù)轉(zhuǎn)換為多幀圖像，并根據(jù)所述單模態(tài)待訓(xùn)練數(shù)據(jù)對應(yīng)的多幀圖像對所述單模態(tài)待訓(xùn)練模型進行訓(xùn)練；

針對每一所述單模態(tài)待訓(xùn)練模型，接收所述單模態(tài)待訓(xùn)練模型輸出的第一訓(xùn)練結(jié)果；

根據(jù)所述第一訓(xùn)練結(jié)果與預(yù)設(shè)的第一真實結(jié)果計算所述單模態(tài)待訓(xùn)練模型的第一網(wǎng)絡(luò)誤差；

根據(jù)所述第一網(wǎng)絡(luò)誤差對所述單模態(tài)待訓(xùn)練模型進行參數(shù)調(diào)整，直至所述單模態(tài)待訓(xùn)練模型收斂，獲得所述單模態(tài)神經(jīng)網(wǎng)絡(luò)模型。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過預(yù)設(shè)的多模態(tài)待訓(xùn)練數(shù)據(jù)對所述多模態(tài)待訓(xùn)練模型進行訓(xùn)練，獲得多模態(tài)神經(jīng)網(wǎng)絡(luò)模型，包括：

將所述多模態(tài)待訓(xùn)練數(shù)據(jù)轉(zhuǎn)換為多幀圖像，并根據(jù)所述多模態(tài)待訓(xùn)練數(shù)據(jù)對應(yīng)的多幀圖像對所述多模態(tài)待訓(xùn)練模型進行訓(xùn)練；

接收所述多模態(tài)待訓(xùn)練模型輸出的第二訓(xùn)練結(jié)果；

根據(jù)所述第二訓(xùn)練結(jié)果與預(yù)設(shè)的第二真實結(jié)果計算所述多模態(tài)待訓(xùn)練模型的第二網(wǎng)絡(luò)誤差；

根據(jù)所述第而網(wǎng)絡(luò)誤差對所述多模態(tài)待訓(xùn)練模型進行參數(shù)調(diào)整，直至所述多模態(tài)待訓(xùn)練模型收斂，獲得所述多模態(tài)神經(jīng)網(wǎng)絡(luò)模型。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將待識別多模態(tài)數(shù)據(jù)添加至所述多模態(tài)神經(jīng)網(wǎng)絡(luò)模型中進行識別，包括：

將所述待識別多模態(tài)數(shù)據(jù)轉(zhuǎn)換為多幀圖像，將所述待識別多模態(tài)數(shù)據(jù)對應(yīng)的多幀圖像添加至所述多模態(tài)神經(jīng)網(wǎng)絡(luò)模型中；

選取所述待識別多模態(tài)數(shù)據(jù)對應(yīng)的K幀圖像對應(yīng)的輸出結(jié)果；

計算所述K幀圖像對應(yīng)的輸出結(jié)果的平均值，將所述平均值作為識別結(jié)果。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述第一網(wǎng)絡(luò)誤差對所述單模態(tài)待訓(xùn)練模型進行參數(shù)調(diào)整，直至所述單模態(tài)待訓(xùn)練模型收斂，獲得所述單模態(tài)神經(jīng)網(wǎng)絡(luò)模型，包括：

根據(jù)所述第一網(wǎng)絡(luò)誤差通過反向傳播的方法對所述單模態(tài)待訓(xùn)練模型進行參數(shù)調(diào)整，直至所述單模態(tài)待訓(xùn)練模型收斂，獲得所述單模態(tài)神經(jīng)網(wǎng)絡(luò)模型。

6.一種多模態(tài)融合的動作識別裝置，其特征在于，包括：

第一訓(xùn)練模塊，用于通過預(yù)設(shè)的單模態(tài)待訓(xùn)練數(shù)據(jù)對至少一個單模態(tài)待訓(xùn)練模型進行訓(xùn)練，獲得至少一個單模態(tài)神經(jīng)網(wǎng)絡(luò)模型；

連接模塊，用于在任意兩個所述單模態(tài)神經(jīng)網(wǎng)絡(luò)模型之間添加信息流動連接，獲得多模態(tài)待訓(xùn)練模型；

第二訓(xùn)練模塊，用于通過預(yù)設(shè)的多模態(tài)待訓(xùn)練數(shù)據(jù)對所述多模態(tài)待訓(xùn)練模型進行訓(xùn)練，獲得多模態(tài)神經(jīng)網(wǎng)絡(luò)模型；

識別模塊，用于將待識別多模態(tài)數(shù)據(jù)添加至所述多模態(tài)神經(jīng)網(wǎng)絡(luò)模型中進行識別。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述第一訓(xùn)練模塊包括：

第一轉(zhuǎn)換單元，用于將所述單模態(tài)待訓(xùn)練數(shù)據(jù)轉(zhuǎn)換為多幀圖像，并根據(jù)所述單模態(tài)待訓(xùn)練數(shù)據(jù)對應(yīng)的多幀圖像對所述單模態(tài)待訓(xùn)練模型進行訓(xùn)練；

第一接收單元，用于針對每一所述單模態(tài)待訓(xùn)練模型，接收所述單模態(tài)待訓(xùn)練模型輸出的第一訓(xùn)練結(jié)果；

第一計算單元，用于根據(jù)所述第一訓(xùn)練結(jié)果與預(yù)設(shè)的第一真實結(jié)果計算所述單模態(tài)待訓(xùn)練模型的第一網(wǎng)絡(luò)誤差；

第一調(diào)整單元，用于根據(jù)所述第一網(wǎng)絡(luò)誤差對所述單模態(tài)待訓(xùn)練模型進行參數(shù)調(diào)整，直至所述單模態(tài)待訓(xùn)練模型收斂，獲得所述單模態(tài)神經(jīng)網(wǎng)絡(luò)模型。