[發明專利]一種基于多視角的交互式視頻搜索方法

無效

• 申請號: 200710099532.5
• 申請日: 2007-05-24
• 公開（公告）號: CN101071439A
• 公開（公告）日: 2007-11-14
• 發明（設計）人: 趙耀;韋世奎;朱振峰
• 申請（專利權）人: 北京交通大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京市商泰律師事務所
• 代理人: 吳克宇;毛燕生

技術領域

本發明涉及一種基于多視角的交互式視頻搜索方法，屬于視頻搜索技術領域。

背景技術

隨著視頻采集設備(如數碼相機、攝像機等)的快速流行，以及視頻制作、存儲、傳輸等技術的迅速發展，視頻數據在的生活中無處不在，并且數據量龐大，甚至家庭自拍的DV也動輒數G。因此，如何從如此巨大視頻資源中準確的搜索出用戶需要的信息，已經成為一個亟待解決的問題。視頻搜索技術將是新一代搜索引擎的核心，也是以后建立數字圖書館，智能信息查詢系統，友好的人機交互系統的關鍵技術，它在生物醫學、軍事、教育、娛樂以及網上搜索等領域有著廣泛的應用。所謂視頻檢索就是從大量的視頻數據中檢索到用戶感興趣的視頻片斷。傳統的基于文本的視頻檢索方法將視頻檢索轉化為文本檢索，利用相對成熟的文本搜索技術來實現數字視頻的搜索。具體來說，這種方法將視頻內容用文本信息來描述，即利用文本來描述視頻內容的語義特征，進而基于文字進行檢索。事實上，目前的自動視頻標注技術還遠遠不能滿足實際要求，仍然需要人工手動的進行文本標注，這是一項費時費力的工作，而且由于受標注者的主觀因素影響很大，標注的準確性也很受質疑。因此，單純的基于文本的視頻檢索方法很難滿足視頻檢索需要。與此相比，基于內容的視頻檢索更具有優勢。所謂基于內容的視頻檢索是指通過分析視頻的內容和上下文關系，從低層到高層進行處理、分析和理解，從而獲取其內容并根據內容進行檢索。它的基本思想是利用完全自動的方式從視頻數據中提取一系列低層的內容描述符(比如，顏色、紋理、形狀等)，通過一定的相似性度量方式來進行相似性比較，從而達到檢索的目的。由于視頻數據既包含了高層的語義信息，也包含了低層的視覺信息，并且同時具有時間和空間兩個屬性，所以視頻數據的結構比較復雜，包含的內容也比較豐富，并且它在多義性和相似性度量復雜性方面也遠高于文本數據。正是由于視頻數據的這些特性，使得目前的特征提取技術還不能提供一種可以很好描述高層語義的特征描述方式，這就出現了所謂的語義鴻溝問題，即低層特征(低層特征描述符)的相似性并不能代表高層語義(用戶查詢意圖)的相似性。這也注定使得這種檢索方式返回大量和用戶需求不相關的視頻片段。為有效的彌補低層特征和用戶高層語義查詢的鴻溝，視頻檢索領域的研究者付出了艱辛的努力，并取得了大量的成果。可以說，視頻檢索的核心問題就是如何克服這個語義鴻溝。

作為一種很有前途的解決方案，交互式搜索技術在一定程度上填補這個鴻溝。交互式視頻搜索是一種用戶導向的視頻搜索技術，其核心思想是利用用戶在搜索過程中的反饋信息，來預測用戶的查詢意圖，以便返回符合用戶要求的信息.近年來，越來越多的研究者和研究機構開始關注交互式搜索技術，并取得了大量成果。好的交互式搜索技術可以有效地提高搜索精度，為用戶提供滿意的搜索結果。另外，由于不同的用戶反饋反映了不同用戶的偏好，因而交互搜索也有利于實現用戶的個性化搜索。當前，大部分的交互式搜索技術都是通過用戶標注來獲取反饋信息的。其基本過程是：

1).系統首先提供給用戶一個初始的搜索結果列表；

2).接著用戶從這個列表中手動選取一些相關視頻和一些不相關的視頻提交給系統；

3).最后系統根據這些反饋的信息構造一個新的預測準則，并根據這個準則重新返回一個搜索結果列表。

事實上，最新的交互式搜索技術將用戶與系統的交互過程看作機器學習的過程。也就是說，從用戶提供的標注信息中學習一個新的檢索函數，用這函數來進行新的搜索，以期為用戶提供滿意的搜索服務。盡管這類基于機器學習理論的交互式搜索方法很多，但大部分方案是基于監督學習的，即學習一個分類器所需的大量樣本完全依靠用戶的標注反饋。為了盡可能準的預測用戶的查詢意圖，這些交互式搜索技術都要求用戶盡可能多的標注正例樣本和負例樣本。通常，由于初始搜索結果一般都比較差，所以標注正例樣本往往需要對初始搜索列表進行深度瀏覽，這極大地增加了用戶負擔，也阻礙了此項技術的推廣使用。

這大大增加了用戶的搜索負擔，而很少用戶愿意為此花費大量的時間。

正如以上所述，好的交互式搜索技術可以有效地提高搜索精度，為用戶提供滿意的搜索結果，并且可以根據不同的用戶反饋來提供不同的搜索結果，從而實現用戶的個性化搜索。作為一種很有前途的技術，它有著廣闊的市場前景，這是毋庸置疑的。同時也看到，當前大部分可用的交互式搜索技術都是基于監督學習方法的，也就是說，新的檢索函數的重構完全依賴于用戶標注。

發明內容