[發明專利]一種基于場景或特定對象的即時視頻合成方法與系統

在審

• 申請號: 201610864770.X
• 申請日: 2016-09-30
• 公開（公告）號: CN107888974A
• 公開（公告）日: 2018-04-06
• 發明（設計）人: 宋松;許怡洋;張岳;馬超杰;閆軍
• 申請（專利權）人: 北京視連通科技有限公司
• 主分類號: H04N21/44
• 分類號: H04N21/44
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明總體上涉及一種在視頻播放過程中根據當前視頻的內容進行視頻合成或切換的系統及方法，特別的，本發明涉及一種對視頻節目的內容進行分析，根據分析結果及播放要求在播放過程中插入或疊加相關內容與當前視頻進行合成，從而在播放過程中對視頻內容進行修改或增加的系統及方法。

背景技術

信息技術的發展，特別是網絡技術的進步使得視頻節目的內容及其呈現形式日益多樣、靈活。在視頻節目的播放過程中穿插或疊加其它音視頻或圖片及文字是目前所有視頻播放平臺獲取廣告收入的主要手段。由于視頻內容的非結構化特性，目前普遍的做法僅限于在指定的時間段(或視頻幀)進行內容的切換或疊加。所切換或疊加的內容通常與正在播放的內容無關，很難做到根據正在播放的節目內容有選擇性的切換或疊加相關內容。這種生硬的內容切換或疊加在很大程度上破壞了所播放節目的完整性，不僅嚴重影響觀眾觀看體驗，造成觀眾流失，也無法達到精準的廣告或宣傳效果。

近年來，人工智能、機器學習特別是深度學習的技術有了長足的進步，使得對非結構化的數據如聲音、圖像甚至視頻內容進行更加深入的分析、處理成為可能，由此可以產生出一系列新型的應用形態和商業模式。本發明所提供的技術將最新的深度學習理論和技術應用到視頻內容的自動化分析中，通過對視頻內容中所包含的音視頻場景及對象的屬性進行分析，根據分析出的場景或屬性選擇內容和/或形式相關的其它音視頻或圖片資源與正在播放的視頻進行合成或切換。同時，本發明還提供了基于上述技術所構建的視頻應用系統，用于對視頻內容進行分析并將分析結果應用于播放時相關內容的插播。比如，從視頻分析中發現一個演員抬腕看手表的鏡頭，當視頻播放到這一畫面時，系統自動插入一小段原視頻中并沒有的某一手表的特寫鏡頭，既可以達到較好的廣告效果又不至于對原視頻的內容、表現形式及情節產生過大的破壞或干擾造成觀眾的反感。特別地，利用這一技術更有可能為觀眾帶來新的觀影體驗及新型的視頻應用。

發明內容

為了便于理解，下面首先對本發明涉及的一些術語進行解釋。

在本發明中，所謂“內容”指視頻中所包含的畫面及聲音等物理元素以及情節、場景等人為描述。“對象”是指視頻畫面中用戶所關心的任何物體或其組合，如人物，車輛，花園，或人物的服裝、飾品等。所謂“場景”是指視頻畫面所表現的環境或氛圍，如海邊，會議，婚禮等或視頻所表現的故事情節。所謂“行為”是指視頻畫面中上述“對象”的動作或行為，如汽車移動，人抬腕看表等。“深度學習”技術是指機器學習的一個分支，通過建立包含多個層次及特定連接方式的人工神經網絡結構，以及適合于多層次結構的網絡訓練算法，實現對人腦特定功能的模擬，用于對圖像、聲音、文字等進行識別的技術。“目標”是指上述“內容”、“對象”、“場景”、“行為”的組合，亦即用于視頻疊加、覆蓋或替換的數據。“幀”或“視頻幀”是指某一時刻的視頻畫面。

本發明所提供的對視頻節目的內容進行分析，根據分析結果及播放要求在播放過程中插入或疊加其它音、視頻或圖片及文字與當前視頻進行合成，從而對正在播放的視頻內容進行修改或增加的方法使得視頻節目播放過程中可以插入、疊加或覆蓋與正在播放的視頻在內容或/及形式上高度相關的音、視頻及圖文。基于此方法所構建的視頻應用系統可以提供與視頻內容密切相關的廣告及信息服務，新型的游戲應用，全新的觀影體驗等，同時將由此帶來的對原視頻節目的干擾降低到觀眾易于接受的程度。

對視頻節目內容進行分析的系統和方法。本發明利用深度學習技術對來自視頻節目源的實時或非實時視頻畫面進行分析，從中提取出每一幀/時刻或每一組/時間段的音、視頻內容屬性，包括但不限于其場景、情節、人物、物品、行為等存入“播放數據庫”。

具體而言，本發明提供了一種對視頻畫面進行內容分析并將分析結果進行分類并與特定內容進行匹配后存入數據庫供視頻播放時進行內容插入、疊加或覆蓋的系統和方法。

將視頻節目中某一內容與其它指定內容進行匹配。本發明將分析出的音、視頻節目某一幀/時刻或某一組/時間段的音、視頻內容屬性與數據庫中或互聯網上已有的節目內容信息進行匹配，從而確定與當前節目畫面具有關聯信息的特定對象，在播放過程中通過插入、覆蓋或疊加與當前視頻進行合成。

本發明還提供了一種將視頻節目中具有關聯信息的特定對象加以呈現的系統和方法，將與當前視頻相關的對象以與當前視頻畫面在風格、表現形式及內容近似或相關的形式表現出來，避免對原視頻內容、表現形式及情節產生過大的破壞或干擾造成觀眾的反感。

附圖說明