[發(fā)明專利]運(yùn)動(dòng)對象表示方法及其裝置

有效

• 申請?zhí)枺?/td>: 201410069754.2
• 申請日: 2014-02-27
• 公開（公告）號: CN104881881B
• 公開（公告）日: 2018-04-10
• 發(fā)明（設(shè)計(jì)）人: 趙穎
• 申請（專利權(quán)）人: 株式會(huì)社理光
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 北京市柳沈律師事務(wù)所11105
• 代理人: 張麗新

1.一種運(yùn)動(dòng)對象表示方法，包括：

獲得捕獲運(yùn)動(dòng)對象的立體圖像，該立體圖像包括深度圖像；

從立體圖像中的運(yùn)動(dòng)對象提取關(guān)鍵點(diǎn)；

使用與圍繞關(guān)鍵點(diǎn)的第一預(yù)定區(qū)域內(nèi)的像素的三維運(yùn)動(dòng)相關(guān)聯(lián)的統(tǒng)計(jì)信息來確定關(guān)鍵點(diǎn)的主方向，其中確定所述關(guān)鍵點(diǎn)的主方向包括：

以像素的運(yùn)動(dòng)向量的深度幅度作為一維，并且以像素的運(yùn)動(dòng)向量在與深度垂直的平面內(nèi)的分量的方向作為另一維，獲得二維直方圖，以及

基于該二維直方圖中的峰值相關(guān)聯(lián)的方向，來確定關(guān)鍵點(diǎn)的主方向；

根據(jù)關(guān)鍵點(diǎn)的主方向，確定在該圍繞關(guān)鍵點(diǎn)的第二預(yù)定區(qū)域內(nèi)的像素的運(yùn)動(dòng)向量，以得到旋轉(zhuǎn)不變運(yùn)動(dòng)向量；以及

基于所確定的圍繞該關(guān)鍵點(diǎn)的第二預(yù)定區(qū)域內(nèi)的像素的運(yùn)動(dòng)向量，提取描述關(guān)鍵點(diǎn)的特征。

2.根據(jù)權(quán)利要求1的運(yùn)動(dòng)對象表示方法，所述從立體圖像中的運(yùn)動(dòng)對象提取關(guān)鍵點(diǎn)包括：

從深度圖像獲得表征運(yùn)動(dòng)對象上的運(yùn)動(dòng)部分的運(yùn)動(dòng)區(qū)域；以及

從該運(yùn)動(dòng)區(qū)域提取關(guān)鍵點(diǎn)。

3.根據(jù)權(quán)利要求2的運(yùn)動(dòng)對象表示方法，所述從深度圖像獲得表征運(yùn)動(dòng)對象上的運(yùn)動(dòng)部分的運(yùn)動(dòng)區(qū)域包括：

從包括該深度圖像以及時(shí)間上在該深度圖像之前的順序的深度圖像分割出運(yùn)動(dòng)對象區(qū)域的序列；

統(tǒng)計(jì)運(yùn)動(dòng)對象區(qū)域中各位置處的像素出現(xiàn)頻率；以及

基于像素出現(xiàn)頻率，確定并去除運(yùn)動(dòng)對象區(qū)域中的基本靜止部分。

4.根據(jù)權(quán)利要求1的運(yùn)動(dòng)對象表示方法，基于確定的圍繞該關(guān)鍵點(diǎn)的第二預(yù)定區(qū)域內(nèi)的像素的運(yùn)動(dòng)向量，提取描述關(guān)鍵點(diǎn)的特征包括：

計(jì)算第二預(yù)定區(qū)域內(nèi)的像素的運(yùn)動(dòng)向量的運(yùn)動(dòng)方向直方圖；以及

基于運(yùn)動(dòng)方向直方圖，來提取描述關(guān)鍵點(diǎn)的特征。

5.根據(jù)權(quán)利要求1的運(yùn)動(dòng)對象表示方法，還包括：

對于運(yùn)動(dòng)對象的至少一個(gè)運(yùn)動(dòng)周期的按時(shí)間順序的樣本深度圖像中的一個(gè)或多個(gè)，進(jìn)行上述提取關(guān)鍵點(diǎn)、確定關(guān)鍵點(diǎn)的主方向、旋轉(zhuǎn)像素的運(yùn)動(dòng)向量、提取關(guān)鍵點(diǎn)的特征的操作，得到用于訓(xùn)練的關(guān)鍵點(diǎn)的特征的集合；以及

基于用于訓(xùn)練的關(guān)鍵點(diǎn)的特征的集合，訓(xùn)練預(yù)定分類器。

6.根據(jù)權(quán)利要求5的運(yùn)動(dòng)對象表示方法，還包括：

接收運(yùn)動(dòng)對象的至少一個(gè)運(yùn)動(dòng)周期的按時(shí)間順序的測試深度圖像中的一個(gè)或多個(gè)，進(jìn)行上述提取關(guān)鍵點(diǎn)、確定關(guān)鍵點(diǎn)的主方向、旋轉(zhuǎn)像素的運(yùn)動(dòng)向量、提取關(guān)鍵點(diǎn)的特征的操作，得到用于測試的關(guān)鍵點(diǎn)的特征的集合；以及

基于該用于測試的關(guān)鍵點(diǎn)的特征的集合和所述訓(xùn)練的預(yù)定分類器，對測試深度圖像相關(guān)聯(lián)的運(yùn)動(dòng)對象進(jìn)行分類。

7.根據(jù)權(quán)利要求1的運(yùn)動(dòng)對象表示方法，所述根據(jù)關(guān)鍵點(diǎn)的主方向，確定該圍繞關(guān)鍵點(diǎn)的第二預(yù)定區(qū)域內(nèi)的像素的運(yùn)動(dòng)向量包括：

基于關(guān)鍵點(diǎn)的主方向，旋轉(zhuǎn)圖像參考坐標(biāo)系；以及

在旋轉(zhuǎn)后的參考坐標(biāo)系中，確定圍繞關(guān)鍵點(diǎn)的該第二預(yù)定區(qū)域。

8.根據(jù)權(quán)利要求7的運(yùn)動(dòng)對象表示方法，確定該圍繞關(guān)鍵點(diǎn)的第二預(yù)定區(qū)域內(nèi)的像素的運(yùn)動(dòng)向量包括：

對于先前已經(jīng)計(jì)算其運(yùn)動(dòng)向量的像素，變換先前已經(jīng)計(jì)算的運(yùn)動(dòng)向量，獲得該像素在旋轉(zhuǎn)后的參考坐標(biāo)系下的運(yùn)動(dòng)向量；以及

對于先前不曾計(jì)算其運(yùn)動(dòng)向量的像素，計(jì)算該像素在旋轉(zhuǎn)后的參考坐標(biāo)系下的運(yùn)動(dòng)向量。

9.一種運(yùn)動(dòng)對象表示裝置，包括：

圖像獲得部件，獲得捕獲運(yùn)動(dòng)對象的立體圖像，該立體圖像包括深度圖像；

關(guān)鍵點(diǎn)提取部件，從立體圖像中的運(yùn)動(dòng)對象提取關(guān)鍵點(diǎn)；

關(guān)鍵點(diǎn)主方向確定部件，使用圍繞關(guān)鍵點(diǎn)的第一預(yù)定區(qū)域內(nèi)的像素的三維運(yùn)動(dòng)相關(guān)聯(lián)的統(tǒng)計(jì)信息來確定關(guān)鍵點(diǎn)的主方向，其中確定所述關(guān)鍵點(diǎn)的主方向包括：

以像素的運(yùn)動(dòng)向量的深度幅度作為一維，并且以像素的運(yùn)動(dòng)向量在與深度垂直的平面內(nèi)的分量的方向作為另一維，獲得二維直方圖，以及

基于該二維直方圖中的峰值相關(guān)聯(lián)的方向，來確定關(guān)鍵點(diǎn)的主方向；

關(guān)鍵點(diǎn)附近區(qū)域內(nèi)像素運(yùn)動(dòng)向量確定部件，根據(jù)關(guān)鍵點(diǎn)的主方向，確定該圍繞關(guān)鍵點(diǎn)的第二預(yù)定區(qū)域內(nèi)的像素的運(yùn)動(dòng)向量；以及

關(guān)鍵點(diǎn)特征描述部件，基于確定的圍繞該關(guān)鍵點(diǎn)的第二預(yù)定區(qū)域內(nèi)的像素的運(yùn)動(dòng)向量，提取描述關(guān)鍵點(diǎn)的特征。