[發(fā)明專利]可交互視頻生成器、播放器及其生成方法、播放方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410181707.7
• 申請(qǐng)日: 2014-04-30
• 公開（公告）號(hào): CN103929669B
• 公開（公告）日: 2018-01-05
• 發(fā)明（設(shè)計(jì)）人: 柳寅秋
• 申請(qǐng)（專利權(quán)）人: 成都理想境界科技有限公司
• 主分類號(hào): H04N21/43
• 分類號(hào): H04N21/43;H04N21/85;H04N21/83;H04N21/472
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種可交互視頻生成方法，其特征在于，包括：

對(duì)原視頻數(shù)據(jù)進(jìn)行解碼，逐幀獲取視頻幀圖像；

逐幀對(duì)視頻幀圖像進(jìn)行特征點(diǎn)提取，生成特征描述數(shù)據(jù)；

根據(jù)每一視頻幀圖像的特征描述數(shù)據(jù)，在服務(wù)器端的圖像數(shù)據(jù)庫中進(jìn)行搜索，獲取與該視頻幀圖像某區(qū)域匹配的樣本圖像及相關(guān)可交互元素；

將匹配成功的視頻幀圖像與樣本圖像進(jìn)行配準(zhǔn)，計(jì)算單應(yīng)性矩陣；

將配準(zhǔn)成功的視頻幀圖像設(shè)定為關(guān)鍵幀，并將每一關(guān)鍵幀與其對(duì)應(yīng)的可交互元素及單應(yīng)性矩陣綁定，形成關(guān)鍵幀數(shù)據(jù)，所述可交互元素內(nèi)綁定有對(duì)應(yīng)元素的可交互事件；

所有視頻幀圖像處理完畢后，將原視頻數(shù)據(jù)與各關(guān)鍵幀數(shù)據(jù)融合封裝，形成可交互視頻。

2.如權(quán)利要求1所述的方法，其特征在于，所述逐幀對(duì)視頻幀圖像進(jìn)行特征點(diǎn)提取，生成特征描述數(shù)據(jù)步驟，具體為如下三種方式之一：

A：對(duì)每一視頻幀圖像的全圖進(jìn)行特征點(diǎn)提取，生成特征描述數(shù)據(jù)；

B：檢測(cè)每一視頻幀圖像中是否包含預(yù)先選定的子圖像區(qū)域，若是，則對(duì)該子圖像區(qū)域進(jìn)行特征點(diǎn)提取，生成特征描述數(shù)據(jù)；

C：對(duì)每一視頻幀圖像進(jìn)行前景分割，對(duì)前景區(qū)域進(jìn)行特征點(diǎn)提取，生成特征描述數(shù)據(jù)。

3.如權(quán)利要求2所述的方法，其特征在于，所述方法還包括匹配圖像跟蹤，即當(dāng)某一視頻幀圖像配準(zhǔn)成功后，在下一視頻幀圖像中跟蹤配準(zhǔn)成功的圖像特征點(diǎn)，由跟蹤算法得到下一幀視頻幀圖像對(duì)應(yīng)的單應(yīng)性矩陣；

當(dāng)跟蹤丟失時(shí)，再對(duì)當(dāng)前幀視頻幀圖像進(jìn)行特征點(diǎn)檢測(cè)與圖像配準(zhǔn)。

4.如權(quán)利要求1至3中任一項(xiàng)所述的方法，其特征在于，所述可交互元素包括視頻、圖像、音頻、網(wǎng)頁、文本、3D模型、URI地址中的一種或多種。

5.一種可交互視頻生成器，其特征在于，包括視頻解碼模塊、圖像特征提取模塊、圖像搜索模塊、圖像配準(zhǔn)模塊和數(shù)據(jù)融合模塊，其中：

所述視頻解碼模塊，用于對(duì)原視頻數(shù)據(jù)進(jìn)行解碼，逐幀獲取視頻幀圖像；

所述圖像特征提取模塊，用于逐幀對(duì)所述視頻解碼模塊解析出的視頻幀圖像進(jìn)行特征點(diǎn)提取，生成特征描述數(shù)據(jù)，將其傳遞給圖像搜索模塊；

所述圖像搜索模塊，用于根據(jù)所述圖像特征提取模塊傳遞來的每一視頻幀圖像的特征描述數(shù)據(jù)，在服務(wù)器端的圖像數(shù)據(jù)庫中進(jìn)行搜索，獲取與該視頻幀圖像某區(qū)域匹配的樣本圖像及相關(guān)可交互元素，將匹配成功的樣本圖像的特征描述傳遞給圖像配準(zhǔn)模塊，并將與該視頻幀圖像相關(guān)的可交互元素傳遞給數(shù)據(jù)融合模塊；

所述圖像配準(zhǔn)模塊，用于將匹配成功的視頻幀圖像與樣本圖像進(jìn)行配準(zhǔn)，計(jì)算單應(yīng)性矩陣；

所述數(shù)據(jù)融合模塊，用于將所述圖像配準(zhǔn)模塊配準(zhǔn)成功的視頻幀圖像設(shè)定為關(guān)鍵幀，將每一關(guān)鍵幀與其對(duì)應(yīng)的可交互元素及單應(yīng)性矩陣綁定，形成關(guān)鍵幀數(shù)據(jù)，所述可交互元素內(nèi)綁定有對(duì)應(yīng)元素的可交互事件；并在所有視頻幀圖像處理完畢后，將原視頻數(shù)據(jù)與各關(guān)鍵幀數(shù)據(jù)融合封裝，形成可交互視頻。

6.如權(quán)利要求5所述的可交互視頻生成器，其特征在于，所述可交互視頻生成器還包括預(yù)選圖像區(qū)域檢測(cè)模塊，用于檢測(cè)每一視頻幀圖像中是否包含預(yù)先選定的子圖像區(qū)域；若檢測(cè)到該視頻幀圖像中包含預(yù)先選定的子圖像區(qū)域，則將該視頻幀圖像或該子圖像區(qū)域發(fā)送到所述圖像特征提取模塊，由所述圖像特征提取模塊對(duì)該子圖像區(qū)域進(jìn)行特征點(diǎn)提取，生成特征描述數(shù)據(jù)。

7.如權(quán)利要求5所述的可交互視頻生成器，其特征在于，所述可交互視頻生成器還包括前景分割模塊，用于對(duì)每一視頻幀圖像進(jìn)行前景分割，并將該視頻幀圖像的前景區(qū)域發(fā)送到所述圖像特征提取模塊，由所述圖像特征提取模塊對(duì)前景區(qū)域進(jìn)行特征點(diǎn)提取，生成特征描述數(shù)據(jù)。

8.如權(quán)利要求5至7中任一項(xiàng)所述的可交互視頻生成器，其特征在于，所述可交互視頻生成器還包括跟蹤模塊，所述跟蹤模塊用于當(dāng)某一視頻幀圖像配準(zhǔn)成功后，在下一視頻幀圖像中跟蹤配準(zhǔn)成功的圖像特征點(diǎn)，由跟蹤算法得到下一幀視頻幀圖像對(duì)應(yīng)的單應(yīng)性矩陣；當(dāng)跟蹤丟失時(shí)，所述跟蹤模塊再將當(dāng)前視頻幀圖像交回所述圖像特征提取模塊，繼續(xù)進(jìn)行特征點(diǎn)檢測(cè)與圖像配準(zhǔn)。

9.一種可交互視頻生成系統(tǒng)，其特征在于，包括可交互視頻生成器和服務(wù)器端，所述可交互視頻生成器為權(quán)利要求5至8中任一項(xiàng)所述的可交互視頻生成器；所述服務(wù)器端用于存儲(chǔ)樣本圖像數(shù)據(jù)及相關(guān)可交互元素。