[發(fā)明專利]一種基于用戶軌跡的多媒體合成方法

有效

• 申請?zhí)枺?/td>: 201010201871.1
• 申請日: 2010-06-09
• 公開（公告）號: CN101867730A
• 公開（公告）日: 2010-10-20
• 發(fā)明（設(shè)計）人: 熊永平;宋崢;王文東
• 申請（專利權(quán)）人: 馬明
• 主分類號: H04N5/262
• 分類號: H04N5/262;G06F17/30
• 代理公司: 北京永創(chuàng)新實專利事務所 11121
• 代理人: 趙文利

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于用戶軌跡的多媒體合成方法，屬于定位與視頻圖像處理交叉技術(shù)領(lǐng)域。

背景技術(shù)

近年來，通信電子和多媒體技術(shù)的快速發(fā)展，越來越多的影像記錄裝置如攝像機、數(shù)碼相機等性能不斷提高的同時，價格也在不斷降低，逐漸成為人們?nèi)粘Ｉ钪械钠胀ㄏM品。這些可以隨時或?qū)崟r記錄特定場景中人們的活動過程，在提高人們生活質(zhì)量、改進公共安全等方面發(fā)揮了巨大的作用。

在已有的大量的多媒體資料的基礎(chǔ)上，以場景內(nèi)用戶移動軌跡為中心，組合相關(guān)的多媒體資料形成新的數(shù)字內(nèi)容，在許多領(lǐng)域有廣闊的應用前景。例如在旅游、婚禮、會議等場景中，可以將場景相關(guān)背景資料，場景內(nèi)攝像頭的拍攝視頻和用戶相機所拍的照片，自動生成一段與用戶活動過程一致的留念視頻，形成一份珍貴的紀念品。

該技術(shù)涉及用戶移動軌跡收集、多媒體內(nèi)容檢索和多媒體合成等多項技術(shù)。現(xiàn)有技術(shù)可以收集用戶的移動軌跡，例如，GPS裝置可以記錄用戶在一段時間內(nèi)位于不同位置的經(jīng)緯度，然后可將此信息作為一個軌跡記錄，可方便用戶了解其在場景內(nèi)所經(jīng)過的路線。但如何根據(jù)用戶的移動軌跡檢索相關(guān)的多媒體內(nèi)容并加以合成，是目前公開的技術(shù)無法實現(xiàn)的。

現(xiàn)有的多媒體檢索技術(shù)基本上可以分成兩類，一種是基于文本的檢索，檢索效率取決于對視頻的文字描述，但很難對視頻進行準確全面的描述；二是基于內(nèi)容的檢索，就是根據(jù)視頻的內(nèi)容和上下文關(guān)系，對大規(guī)模視頻數(shù)據(jù)庫中的視頻數(shù)據(jù)進行檢索。它在沒有人工參與情況下，自動提取和描述視頻內(nèi)容，其難點在于相似性計算的標準，其實現(xiàn)效果較差。這些技術(shù)的本質(zhì)都是為視頻添加含有檢索目標信息的標簽，難以實現(xiàn)對某一目標在多來源多媒體內(nèi)容中有效的檢索。

在多媒體內(nèi)容合成方面，一些技術(shù)根據(jù)特定圖片文件格式中嵌入的時間和位置信息，如使用JPEG文件的EXIF域，將多個圖片合成為展示用戶活動過程的圖片序列。而現(xiàn)有的視頻合成技術(shù)大多集中在使用內(nèi)容合成或特效制作的方式生成新的視頻，例如虛擬演播室，更簡單的有將多個視頻輸入源通過多路選擇輸出調(diào)整，將多路視頻合并為一段視頻。目前還沒有公司或機構(gòu)能實現(xiàn)對某個具體目標移動軌跡相關(guān)視頻的合成。

發(fā)明內(nèi)容

本發(fā)明的目的是以場景內(nèi)用戶移動軌跡為中心，組合相關(guān)的多媒體資料形成新的數(shù)字多媒體內(nèi)容。本文提出了一種基于時間和空間標簽的多媒體合成方式：所有的多媒體資料都與空間區(qū)域和時間相關(guān)聯(lián)，通過用戶軌跡檢索得到多媒體資料，經(jīng)過自動編輯與合成，形成新的數(shù)字多媒體內(nèi)容。

基于用戶軌跡的多媒體合成方法，包括以下幾個步驟：

步驟一：建立空間區(qū)域資料的索引結(jié)構(gòu)；

將目標場景相關(guān)的多媒體資料根據(jù)場景中的空間區(qū)域劃分建立索引，使通過給定空間區(qū)域能夠檢索到與包含該區(qū)域的空間區(qū)域相關(guān)聯(lián)的多媒體資料。

步驟二：建立監(jiān)控視頻資料的索引結(jié)構(gòu)；

將監(jiān)控設(shè)備與空間區(qū)域相關(guān)聯(lián)建立索引。

步驟三：收集用戶移動軌跡；

通過定位裝置收集用戶軌跡并傳給服務器。

步驟四：接收用戶拍攝的圖片資料；

用戶將自己拍攝的照片上傳到服務器。

步驟五：根據(jù)用戶的移動軌跡檢索多媒體內(nèi)容；

根據(jù)用戶移動軌跡，檢索空間區(qū)域資料索引和監(jiān)控視頻資料索引與用戶上傳照片，得到符合用戶在目標場景內(nèi)移動路線的多媒體片段序列。

步驟六：多媒體資料合并生成視頻文件。

將多個獨立的多媒體片段序列按時間組合并自動剪輯，得到包含音頻和視頻內(nèi)容的完整視頻文件。

本發(fā)明的優(yōu)點在于：

(1)本發(fā)明所得到的數(shù)字視頻能直接表現(xiàn)用戶移動的路線和每個重點目標場景內(nèi)的行為，同時可以將用戶所配相機和相關(guān)說明結(jié)合起來。在安防監(jiān)控領(lǐng)域中的用戶行為跟蹤，旅游景區(qū)制作個性化游客紀念視頻等方向都有廣泛的應用。

(2)對用戶來說：1)很強的紀念意義。能較好重現(xiàn)在景區(qū)/會議內(nèi)的表現(xiàn)，方便用戶對曾經(jīng)的行為進行了解和回味，實現(xiàn)真正的紀念意義；2)有利于更好地了解所參加的會議/旅游，在紀念品中包含的會議相關(guān)說明/景區(qū)宣傳片段和語言解說，便于用戶進一步了解3)避免了會議/景區(qū)宣傳資料的盜版，因為每個紀念品只是根據(jù)用戶的移動軌跡合成的個性化視頻。

(3)對旅游、安保、會議公司而言，更好的實現(xiàn)安全保障。

附圖說明

圖1是本發(fā)明的方法流程圖；

圖2是本發(fā)明步驟五中根據(jù)位置與時間坐標檢索多媒體資料的說明圖；

圖3是本發(fā)明步驟六中基于景區(qū)地圖的游客移動視頻生成圖；

圖4是本發(fā)明實施例的流程圖。

圖中：

具體實施方式