[發明專利]用于音頻辨識的擴展的視頻鏡頭媒體引擎

無效

• 申請號: 201210206001.2
• 申請日: 2012-06-14
• 公開（公告）號: CN102915320A
• 公開（公告）日: 2013-02-06
• 發明（設計）人: 普里彥·甘塔堤雷克;董·恩古因;阿布希舍克·帕提爾;迪鵬杜·薩哈
• 申請（專利權）人: 索尼公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 宋鶴

技術領域

本專利申請一般地涉及管理多媒體數據，并且更具體地涉及基于所選擇的多媒體音頻內容來收集、分類、總結、編輯、標記、共享以及執行定向(directed)搜索和廣告。

背景技術

在線視頻的發展的確是顯著的。Comscore公司估計超過75％的美國因特網用戶觀看在線視頻。他們平均每月花235分鐘來觀看總計達50億份視頻。

內容類型通常決定了觀看體驗。例如，優質內容向用戶提供豐富且交互式的觀看體驗。諸如故事概要、演員表和導演簡檔(profile)、評級、用戶評論和章節劃分之類的伴隨內容的元數據也對整體體驗有所貢獻。在web上可獲得的優質內容通常是收費的并且通常持續30分鐘或更長。

相反，免費內容大多是用戶生成的并且提供“無裝飾的(no?frills)”觀看體驗。文本、特殊場合的縮略圖、用戶評級以及鏈接是此觀看體驗的一部分。觀看通常被限制為通過“盲目”搜尋的“開始到結束”回放(沒有對內容的可視指南)。免費內容流的平均長度為1-5分鐘，Comscore公司估計在線視頻的平均持續時間為2.9分鐘。

假設海量在線內容的大多數是免費的(且是用戶生成的)，那么存在如下的不斷增長的需求：需要改進免費內容的目前“無裝飾的”觀看體驗。

在線視頻體驗的增強是許多人和機構共有的目標。結果，開發出了許多解決方案。針對優質內容的選擇的解決方案是元數據。元數據是與如下內容有關的信息，該內容可表現為用以提供故事概要、演員和導演簡檔、刪除了的場景以及章節劃分的文本、圖像、視頻或音頻，此信息允許定制的回放。此外，元數據通過相關鏈接、用戶評論和評級被補充。元數據將描述性和交互性層添加到內容回放。內容創建者、發行者以及其間的公司已認識到它的價值，并且已經使元數據成為優質內容供應的整體所需部分。

遺憾的是，針對優質內容的元數據創建處理因其依賴于手動創建而并未擴展到免費內容。手動處理用戶生成的免費內容是經濟上不切實際的提議，因此需要自動的方法。這些方法可作用于內容的音頻和視頻方面以提取有意義的信息。它們可被認為是制作機器生成的元數據。

自動方法落入以下三個類別中的一個：音頻/視頻分析、編解碼器技術和產業標準。

受到學術界最多關注的類別是音頻/視頻分析。這些方法分析內容的音頻和視頻數據并且試圖提取對用戶而言有意義的關鍵信息。壓縮域(compressed?domain)視頻分析、運動分析、物體分割、文本檢測、譜分析以及話音到文本轉換是用于提取關鍵信息的一些技術。大多數方法提供良好的準確性，然而它們的復雜性限制了在實時應用中的使用以及在資源受限消費類設備上的使用。因此，大多數音頻/視頻分析是離線執行的。

編解碼器技術為免費內容提供了替代的自動元數據生成處理。在這種情況下，關于內容的關鍵信息在編碼處理期間被封裝在壓縮的流中。回放處理提取它們并將它們與內容一起呈現。諸如MPEG2、MPEG4-Part2、AVC(H.264)、VCI和其他先進的編解碼器之類的編解碼器標準定義了特別的簡檔以支持此能力。遺憾的是，該方法將高復雜度加至編碼和解碼處理，這限制了它的廣泛使用。

第三種方法是工業標準的使用。諸如MPEG-7、MPEG-21和HTML-5之類的標準試圖通過實現對內容中關鍵信息的搜索、共享和增強顯示來豐富在線視頻體驗。MPEG-7和MPEG-21的流行性一直受限，因為它們不解決從內容中提取關鍵信息的根本問題。而是，這些標準提供在設備間查詢和共享信息的機制。HTML-5最近在媒體報道中獲得了顯著的關注。它提出針對視頻標簽的主要修正，該視頻標簽實現對顯示在瀏覽器上的回放內容的動態且交互式的訪問。視頻窗定位、著色、邊緣效果和技巧模式控制是由該標準提出的效果中的一些。HTML-5可能是卓越的，因為其承諾通過其豐富的圖形操作和音頻/視頻效果來增強在線視頻體驗。