[發(fā)明專利]一種手勢(shì)操控虛擬現(xiàn)實(shí)視頻的方法、裝置和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201610934315.2
• 申請(qǐng)日: 2016-10-25
• 公開（公告）號(hào): CN107977070B
• 公開（公告）日: 2021-09-28
• 發(fā)明（設(shè)計(jì)）人: 產(chǎn)昊鵬;張亮;王瑞敏
• 申請(qǐng)（專利權(quán)）人: 中興通訊股份有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06F3/0484;G06K9/00
• 代理公司: 深圳鼎合誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 44281
• 代理人: 薛祥輝

1.一種手勢(shì)操控虛擬現(xiàn)實(shí)視頻的方法，其特征在于，包括：

獲取一系列的人手深度圖，解析所述人手深度圖，得到人手圖像；

按照設(shè)定的目標(biāo)區(qū)域選取標(biāo)準(zhǔn)，在所述人手圖像中選取一目標(biāo)區(qū)域，通過捕獲所述目標(biāo)區(qū)域的移動(dòng)軌跡，得到人手運(yùn)動(dòng)軌跡；

將所述人手運(yùn)動(dòng)軌跡與預(yù)先定義的手勢(shì)模板進(jìn)行匹配，并將匹配到的手勢(shì)的種類及該手勢(shì)的運(yùn)動(dòng)距離發(fā)送至虛擬現(xiàn)實(shí)視頻播放設(shè)備進(jìn)行視頻播放控制；所述將所述人手運(yùn)動(dòng)軌跡與預(yù)先定義的手勢(shì)模板進(jìn)行匹配，并將匹配到的手勢(shì)的種類及該手勢(shì)的運(yùn)動(dòng)距離發(fā)送至虛擬現(xiàn)實(shí)視頻播放設(shè)備進(jìn)行視頻播放控制包括：提取所述人手圖像中的手形，若提取的手形與預(yù)定義的手形相匹配，則將提取的手形信息發(fā)送至虛擬現(xiàn)實(shí)視頻播放設(shè)備，以通過手形進(jìn)行視頻播放模式切換控制和切換模式后的視頻播放控制。

2.如權(quán)利要求1所述的方法，其特征在于，所述解析所述人手深度圖，得到人手圖像，包括：

按設(shè)定的深度閾值，對(duì)所述人手深度圖進(jìn)行二值化，并通過對(duì)點(diǎn)進(jìn)行聯(lián)通區(qū)域擴(kuò)散，得到所述人手圖像。

3.如權(quán)利要求1所述的方法，其特征在于，選取的所述目標(biāo)區(qū)域滿足：目標(biāo)區(qū)域內(nèi)落在人手上的點(diǎn)占目標(biāo)區(qū)域內(nèi)所有點(diǎn)的比例值超出設(shè)定的比例閾值。

4.如權(quán)利要求1或3所述的方法，其特征在于，所述按照設(shè)定的目標(biāo)區(qū)域選取標(biāo)準(zhǔn)，在所述人手圖像中選取一目標(biāo)區(qū)域，包括：

在所述人手圖像中，從人手最遠(yuǎn)深度點(diǎn)沿著人手延伸的反方向移動(dòng)設(shè)定距離，得到相對(duì)最遠(yuǎn)點(diǎn)，并以所述相對(duì)最遠(yuǎn)點(diǎn)為圓心、以設(shè)定值為半徑，截取一局部圓作為選取的目標(biāo)區(qū)域。

5.如權(quán)利要求1所述的方法，其特征在于，所述通過捕獲所述目標(biāo)區(qū)域的移動(dòng)軌跡，得到人手運(yùn)動(dòng)軌跡，包括：

對(duì)于每一幀圖像，求取所述目標(biāo)區(qū)域內(nèi)所有點(diǎn)的X、Y坐標(biāo)的平均值；

按照時(shí)序序列，統(tǒng)計(jì)各幀圖像中目標(biāo)區(qū)域在X、Y方向上的平均變化值；

根據(jù)所述X、Y方向上的平均變化值，確定出人手的運(yùn)動(dòng)軌跡。

6.如權(quán)利要求1所述的方法，其特征在于，在得到人手圖像后，還包括：提取所述人手圖像中的手形，若提取的手形與預(yù)定義的手形相匹配，則將提取的手形信息發(fā)送至虛擬現(xiàn)實(shí)視頻播放設(shè)備，以通過手形進(jìn)行視頻播放控制。

7.如權(quán)利要求6所述的方法，其特征在于，所述預(yù)定義的手形包括如下手形中的一個(gè)或多個(gè)：預(yù)定義的用于模式切換的手形、預(yù)定義的用于開始手勢(shì)的手形和預(yù)定義的用于結(jié)束手勢(shì)的手形。

8.一種手勢(shì)操控虛擬現(xiàn)實(shí)視頻的裝置，其特征在于，包括：

獲取深度圖模塊，用于獲取一系列的人手深度圖；

圖像處理模塊，用于解析所述人手深度圖，得到人手圖像，按照設(shè)定的目標(biāo)區(qū)域選取標(biāo)準(zhǔn)，在所述人手圖像中選取一目標(biāo)區(qū)域，通過捕獲所述目標(biāo)區(qū)域的移動(dòng)軌跡，得到人手運(yùn)動(dòng)軌跡；所述圖像處理模塊，還用于提取所述人手圖像中的手形，若提取的手形與預(yù)定義的手形相匹配，則觸發(fā)手勢(shì)信號(hào)發(fā)送模塊；手勢(shì)匹配模塊，用于將所述人手運(yùn)動(dòng)軌跡與預(yù)先定義的手勢(shì)模板進(jìn)行匹配；

手勢(shì)信號(hào)發(fā)送模塊，用于將所述手勢(shì)匹配模塊匹配到的手勢(shì)的種類及該手勢(shì)的運(yùn)動(dòng)距離發(fā)送至虛擬現(xiàn)實(shí)視頻播放設(shè)備進(jìn)行視頻播放控制；所述手勢(shì)信號(hào)發(fā)送模塊，還用于將所述手形的信息發(fā)送至虛擬現(xiàn)實(shí)視頻播放設(shè)備，以通過手形進(jìn)行視頻播放模式切換控制和切換模式后的視頻播放控制。

9.如權(quán)利要求8所述的裝置，其特征在于，所述圖像處理模塊，具體用于按設(shè)定的深度閾值，對(duì)所述人手深度圖進(jìn)行二值化，并通過對(duì)點(diǎn)進(jìn)行聯(lián)通區(qū)域擴(kuò)散，得到所述人手圖像。

10.如權(quán)利要求8所述的裝置，其特征在于，所述圖像處理模塊選取的所述目標(biāo)區(qū)域滿足：目標(biāo)區(qū)域內(nèi)落在人手上的點(diǎn)占目標(biāo)區(qū)域內(nèi)所有點(diǎn)的比例值超出設(shè)定的比例閾值。