[發(fā)明專利]用于由相機(jī)所捕獲的視頻序列中的動(dòng)作識(shí)別的方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201711097624.X
• 申請(qǐng)日: 2017-11-09
• 公開（公告）號(hào): CN108073890B
• 公開（公告）日: 2023-01-24
• 發(fā)明（設(shè)計(jì)）人: 尼克拉·丹尼爾松;西蒙·莫林
• 申請(qǐng)（專利權(quán)）人: 安訊士有限公司
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20
• 代理公司: 北京德琦知識(shí)產(chǎn)權(quán)代理有限公司 11018
• 代理人: 康泉;宋志強(qiáng)

本公開涉及視頻序列中的動(dòng)作識(shí)別。在視頻序列中的動(dòng)作識(shí)別的系統(tǒng)和方法中，該系統(tǒng)包括被配置為捕獲視頻序列的相機(jī)和被配置為執(zhí)行動(dòng)作識(shí)別的服務(wù)器。相機(jī)包括被配置為識(shí)別視頻序列的目標(biāo)圖像幀中的興趣目標(biāo)的目標(biāo)識(shí)別器；被配置為對(duì)目標(biāo)圖像幀應(yīng)用第一動(dòng)作識(shí)別算法并由此檢測候選動(dòng)作的存在的候選動(dòng)作識(shí)別器；被配置為通過從視頻序列提取與多個(gè)圖像幀有關(guān)的視頻數(shù)據(jù)來產(chǎn)生動(dòng)作視頻序列的動(dòng)作圖像幀的視頻提取器，其中，提取出視頻數(shù)據(jù)的多個(gè)圖像幀的一個(gè)或多個(gè)圖像幀包括興趣目標(biāo)；以及被配置為傳輸動(dòng)作視頻序列至服務(wù)器的網(wǎng)絡(luò)接口。服務(wù)器包括被配置為對(duì)動(dòng)作視頻序列應(yīng)用第二動(dòng)作識(shí)別算法并由此驗(yàn)證或否決候選動(dòng)作是動(dòng)作的動(dòng)作驗(yàn)證器。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻序列中的動(dòng)作識(shí)別。

背景技術(shù)

視頻序列中的動(dòng)作識(shí)別是檢測視頻序列中的特定預(yù)定義動(dòng)作的任務(wù)。待檢測的動(dòng)作的示例可以例如是人員打斗、奔跑、進(jìn)食、玩運(yùn)動(dòng)游戲。動(dòng)作識(shí)別通常要求過多的處理能力，這使其不適用于在捕獲視頻序列的數(shù)字?jǐn)z像機(jī)上執(zhí)行。替代的通常由具有所需處理能力的服務(wù)器執(zhí)行動(dòng)作識(shí)別。然而，在數(shù)字網(wǎng)絡(luò)之上發(fā)送大量視頻需要大量帶寬。

因此，需要改進(jìn)的視頻序列中的動(dòng)作識(shí)別。

發(fā)明內(nèi)容

考慮到以上，本發(fā)明的目標(biāo)在于提供改進(jìn)的視頻序列中的動(dòng)作識(shí)別。

根據(jù)第一特征方面提供了一種用于在由相機(jī)所捕獲的視頻序列中的動(dòng)作識(shí)別的方法。方法包括：由相機(jī)的電路：識(shí)別在視頻序列的目標(biāo)圖像幀中的興趣目標(biāo)；對(duì)目標(biāo)圖像幀應(yīng)用第一動(dòng)作識(shí)別算法并由此檢測候選動(dòng)作的存在；通過從視頻序列提取與多個(gè)圖像幀有關(guān)的視頻數(shù)據(jù)來產(chǎn)生動(dòng)作視頻序列的動(dòng)作圖像幀，其中，提取出視頻數(shù)據(jù)的多個(gè)圖像幀的一個(gè)或多個(gè)圖像幀包括興趣目標(biāo)；并且將動(dòng)作視頻序列傳輸至被配置為執(zhí)行動(dòng)作識(shí)別的服務(wù)器；由服務(wù)器的電路：對(duì)動(dòng)作視頻序列應(yīng)用第二動(dòng)作識(shí)別算法并由此驗(yàn)證或否決候選動(dòng)作是預(yù)定類型的動(dòng)作。

本發(fā)明的動(dòng)作識(shí)別的方案是有利的，這是因?yàn)槠湓试S對(duì)動(dòng)作識(shí)別所需的處理能力分布在兩個(gè)不同裝置之上而沒有在相機(jī)與服務(wù)器之間的通信中占據(jù)太多帶寬的問題。另外，本發(fā)明的動(dòng)作識(shí)別的方案使其能夠執(zhí)行處理器增強(qiáng)的動(dòng)作識(shí)別而并不加載太多相機(jī)的處理器，并且同時(shí)不必不斷地將整個(gè)視頻序列流發(fā)送至服務(wù)器。因此，本發(fā)明的方案允許使用要求在相機(jī)本地進(jìn)行的第一類型動(dòng)作識(shí)別算法的較少的處理以及要求在服務(wù)器上進(jìn)行的第二類型動(dòng)作識(shí)別算法的較多的處理。通過提取并僅發(fā)送動(dòng)作視頻序列而不是連續(xù)的視頻流，可以節(jié)省帶寬。根據(jù)本發(fā)明的動(dòng)作識(shí)別的方案可以在相機(jī)處檢測候選動(dòng)作。候選動(dòng)作觸發(fā)動(dòng)作視頻序列傳輸至服務(wù)器，在該服務(wù)器中執(zhí)行更高級(jí)的動(dòng)作識(shí)別分析。因此相機(jī)上的動(dòng)作識(shí)別的目的是用于觸發(fā)候選動(dòng)作的檢測。候選動(dòng)作的檢測觸發(fā)將動(dòng)作視頻序列傳輸至服務(wù)器以用于進(jìn)一步分析、驗(yàn)證、或否決候選動(dòng)作為真實(shí)的動(dòng)作。

第一動(dòng)作識(shí)別算法可以主要基于使用目標(biāo)圖像幀中的情景和/或空間信息的情景和/或空間動(dòng)作識(shí)別算法。情景和/或空間動(dòng)作識(shí)別算法通常不要求太多處理能力。因此，使用該類型算法的動(dòng)作識(shí)別更易于在相機(jī)上本地地可。

第二動(dòng)作識(shí)別算法可以主要基于使用動(dòng)作視頻序列的多個(gè)圖像幀的時(shí)域信息的時(shí)域動(dòng)作識(shí)別算法。時(shí)域動(dòng)作識(shí)別算法通常在識(shí)別動(dòng)作方面更準(zhǔn)確。因此，可以執(zhí)行更準(zhǔn)確的動(dòng)作識(shí)別。

產(chǎn)生動(dòng)作圖像幀的動(dòng)作可以包括裁剪視頻序列的多個(gè)圖像幀，以使得包括興趣目標(biāo)的動(dòng)作圖像幀包括該興趣目標(biāo)的至少一部分。這可以節(jié)省相機(jī)與服務(wù)器之間的帶寬。

產(chǎn)生動(dòng)作圖像幀的動(dòng)作可以包括裁剪視頻序列的多個(gè)圖像幀，以使得包括興趣目標(biāo)的動(dòng)作圖像幀包括至少部分地圍繞興趣目標(biāo)的背景的一部分。通過合并至少部分地圍繞興趣目標(biāo)的背景，不僅可以執(zhí)行動(dòng)作視頻序列的時(shí)域分析而且還可以執(zhí)行動(dòng)作視頻序列的情景和/或空間分析。

傳輸動(dòng)作視頻序列的動(dòng)作可以包括將動(dòng)作視頻序列內(nèi)的坐標(biāo)傳輸至興趣目標(biāo)。坐標(biāo)可以涉及哪個(gè)或哪些圖像幀包括興趣目標(biāo)，和/或興趣目標(biāo)位于相應(yīng)的圖像幀中的何處。