[發明專利]一種基于草圖的超視頻構建方法

無效

• 申請號: 201010119438.3
• 申請日: 2010-03-05
• 公開（公告）號: CN101763439A
• 公開（公告）日: 2010-06-30
• 發明（設計）人: 滕東興;馬翠霞;楊海燕;陳佳;王宏安;戴國忠
• 申請（專利權）人: 中國科學院軟件研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京君尚知識產權代理事務所(普通合伙) 11200
• 代理人: 馮藝東

1.一種基于草圖的超視頻構建方法，其步驟為：

1)創建各目標視頻的情景草圖，建立草圖與目標視頻的隱性語義關聯關系；其方法為：

a)對用戶實時繪制的草圖筆跡進行成組聚簇；

b)將經過實時聚簇后得到的草圖簇與保存在視頻資源庫中的歷史草圖逐一比較， 以檢索到包含該草圖簇的視頻資源；即：首先計算兩待比較草圖的顏色特征，所述 顏色特征包括顏色平均值和顏色分布特征；然后計算各顏色屬性的采樣點總數在草 圖總采樣點數中所占比例，將小于預定義比例閾值的顏色項從該顏色分布特征中去 除；若待比較草圖的顏色分布特征的維度不相同，則先對齊兩個草圖的顏色分布特 征的維度；若待比較草圖的顏色分布特征的維度相等，進行顏色相似性度量，得到 兩草圖的顏色相似度距離；對顏色相似度距離進行歸一化處理后，選取草圖的形狀 特征和空間結構特征；最后，將滿足形狀特征、空間結構特征和顏色特征的相似度 度量標準的草圖作為候選結果；

c)將后續新輸入的草圖筆跡聚簇成草圖簇后對上一步得到的檢索結果繼續進行 匹配檢索，如此反復，最終完成情節草圖的構建，實現草圖與視頻隱性語義關系的 建立；

2)根據創建的情景草圖搜索目標視頻資源，向各目標視頻資源中分別添加注釋草圖， 建立不同視頻資源之間的顯性語義關聯關系；其方法為：

a)從視頻流中抽取符合拼接條件的視頻幀圖像拼接成一全景圖，作為構建注釋草 圖的靜態背景和容器；其中，拼接全景圖的方法為：首先，利用SIFT算法從視 頻幀圖像中提取特征點；然后，根據視頻幀內容動態確定抽取視頻幀的時間間 隔，對視頻幀進行抽取；所述時間間隔θ＝INT(N/Delt)，N為連續幀個數，Delt 為幀圖像間的特征點平均偏移量；最后，通過對抽取的視頻幀間的特征點進行 匹配，獲取鄰近幀之間的位置對應關系，從而將多個幀圖像映射到同一圖像空 間，完成視頻全景圖的拼接；

b)將注釋草圖筆跡的采樣點在全景圖中的空間坐標位置變換至視頻的幀圖像空 間，得到采樣點在原始視頻中的時空坐標，建立草圖與視頻的映射關系；

c)跟蹤并提取注釋草圖所關聯的視頻前景對象的運動軌跡，并據此確定該注釋草 圖運動路徑；其中確定該注釋草圖運動路徑的方法為：首先，逐一計算注釋草 圖覆蓋區域的SIFT特征點與鄰近幀圖像上的SIFT特征點的歐式距離，得到所有 連續幀上的匹配特征點；然后，根據特征點的鄰域采樣點的梯度方向分布特征 指定各特征點的方向，選擇特征點的鄰域采樣點的梯度的模值最大的梯度方向 作為關鍵特征點的方向；最后，通過鄰近幀圖像上的特征點的時空坐標插值得 到前景對象的運動軌跡，從而確定相應注釋草圖的運動軌跡；

3)設置注釋草圖的行為屬性，建立當前草圖所表征的目標視頻與其它目標視頻資源之 間的關聯關系，得到目標視頻資源的超視頻；

其中，所述隱性語義關聯關系或所述顯性語義關聯關系采用關系映射圖 SemanticMap＝<V，E>描述，其中V為頂點v的集合，頂點v代表一段視頻，其包括 若干語義段SemanticClip，頂點v及語義段SemanticClip記錄對應的視頻信息和該段視 頻所對應的草圖信息；E為邊e的集合，邊e記錄了從視頻vi到vj、或同一視頻內從 語義段SemanticClipi到SemanticClipj、或視頻vi與其它視頻的語義段SemanticClipj之 間的語義關聯關系；所述草圖包括情景草圖和注釋草圖；所述超視頻是一種在視頻流 中嵌入超鏈接的非線性結構視頻，它使得用戶可以根據視頻內容的語義相關性在多個 視頻之間跳轉，實現基于內容的視頻瀏覽。

2.如權利要求1所述的方法，其特征在于所述行為屬性定義為Behavior＝(Trigger，Action， AppendedInfo)，其中Trigger為動作的觸發條件，Action為草圖所能響應的行為類型， AppendedInfo為行為的附屬信息。

3.如權利要求2所述的方法，其特征在于所述草圖的數據格式為：

其中，草圖Sketch由若干草圖簇SemanticCluster及草圖簇間的約束Constraints構成， SemanticCluster由若干嵌套的筆劃組StrokeGroup及筆劃間的約束Constraints構成， GeometryConstraints為幾何約束、DomainConstraints為領域知識約束、ContextConstraint 為交互上下文約束，Stroke為草圖的基本組成元素筆跡，筆跡是指筆尖從落下到抬起的 一段完整的筆劃，Points為采樣點的集合、DownTime為筆尖落下的時刻、UpTime為筆尖 抬起的時刻、Velocity為筆尖的運動速度、Inflexion記錄了筆跡的彎曲程度、Direction 記錄了筆尖的運動方向，Point為筆跡的基本組成元素采樣點、FramePosition為采樣點所 對應的視頻相關時間、空間信息。