[發(fā)明專利]一種基于移動可視設備的跨媒體信息檢索系統及方法

無效

• 申請?zhí)枺?/td>: 201110215142.6
• 申請日: 2011-07-29
• 公開（公告）號: CN102262670A
• 公開（公告）日: 2011-11-30
• 發(fā)明（設計）人: 吳仁濤;王若梅;孟思明
• 申請（專利權）人: 中山大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發(fā)明涉及信息檢索領域，特別涉及一種基于移動可視設備的跨媒體信息檢索系統及方法。

背景技術

隨著檢索技術越來越流行，檢索也逐漸成為一個很有商業(yè)前景的產業(yè)。例如，檢索引擎供應商通過在返回的結果中附帶付費廣告的方式來盈利，以研究更新的技術，提供更新的服務，吸引更多的用戶和獲取更多的廣告收入。現在，這個競爭已經轉向無線領域。包括傳統的信息檢索，鄰近商店和物品的本地信息檢索，甚至是背景圖像的檢索。

基于移動可視設備的移動檢索是一個全新的由實際應用需求催生的研究課題。隨著人們生活水平的日益提高，科學技術的不斷發(fā)展，移動可視設備例如手機、筆記本電腦等廣泛應用到人們的生活中，而逐漸形成的移動檢索的體系將改變人們尋找及購買日常商品、移動內容以及本地信息服務的方式。

傳統信息檢索技術主要是面向文本的，采用文本檢索技術，通常是利用一組關鍵字或詞組成的查詢來檢索定位文本和數據庫中相關文本文檔。如果某個文檔中包含較多和查詢項相關的文本，那么就認為該文檔比其他包含較少查詢項的文檔更相關。對于希望利用多媒體數據資源的用戶來說，一般要求他們具備一定的知識背景，才能提交符合IR(Information?Retrieval，信息檢索)系統要求或IR系統可以理解的查詢.但是，在實際應用中，大量用戶對于某些概念語義的精通程度并不足以明確敘述其查詢意愿，此時如果IR系統允許用戶能夠以多種媒體信息來描述方式輸入查詢意愿，那么將檢索到更多符合心愿的查詢結果。

對圖像和視頻等多媒體信息集來說，目前絕大多數檢索系統仍采取文本檢索技術，例如Google的圖像和視頻檢索功能仍是基于文本關鍵詞的，這些關鍵詞可能來源于圖片周圍的文本，文件名等，其中少量的也可能來源于人工標注。所以近些年來，許多研究人員試圖實現基于內容的多媒體信息查詢技術，以彌補上述多媒體信息檢索技術的缺陷。國內外有報多研究人員在積極研究基于內容的多媒體信息檢索技術，其中包括對圖像、視頻和音頻等多媒體信息的內容處理和分析(parsing)、自動標注(annotation)，構建索引(indexing)和相似檢索(retrieval)等。然而，在實際應用中，大量用戶對于某些概念語義的精通程度并不足以明確敘述其查詢意愿，此時如果IR系統允許用戶能夠以多種媒體信息來描述方式輸入查詢意愿，那么將檢索到更多符合心愿的查詢結果。不能夠以某一種或多種媒體表達方式描述的用戶查詢，在不同類型媒體表達方式描述的媒體信息之間進行查找和相關匹配，僅僅從單一媒體檢索，使得用戶檢索的正確性大大降低，未能實現跨媒體的信息檢索是當下信息檢索技術需要解決的主要問題。

發(fā)明內容

本發(fā)明的目的在于提供一種基于移動可視設備的跨媒體信息檢索系統及方法，能夠結合文本和圖像檢索，實現跨媒體的信息檢索，從而獲取到更精確的檢索結果。

為實現上述目的，本發(fā)明提供一種基于移動可視設備的跨媒體信息檢索的系統，包括：圖像輸入模塊、文本輸入模塊、基于文本的互聯網圖像檢索模塊、基于內容的圖像檢索模塊及檢索處理模塊，所述圖像輸入模塊用于將圖像輸入到所述移動可視設備內；所述文本輸入模塊用于輸入與圖像相關的文字信息；所述基于文本的互聯網圖像檢索模塊用于檢索出與輸入的文字信息關聯的圖像集合，并建立生成文本相關的圖像集；所述基于內容的圖像檢索模塊用于在文本相關的圖像集中通過檢索與所輸入圖像匹配的圖像，并建立生成視覺相關的圖像集；所述檢索處理模塊用于從最終找到的視覺相關的圖像集中的圖像所在的網頁中提取關鍵詞，進而提取相關在線內容，并顯示檢索結果。

較佳地，所述移動可視設備內置有攝像頭，所述圖像通過攝像頭采集并傳送到圖像輸入模塊中。

較佳地，所述移動可視設備為手機。

較佳地，所述系統還包括查詢擴展模塊，所述查詢擴展模塊用于對所輸入的文字信息進行擴展并將與所述文字信息同義的其他文字一起生成文本集，所述基于文本的互聯網圖像檢索模塊以所述文本集進行關聯圖像的檢索。

相應地，本發(fā)明還提供了一種基于移動可視設備的跨媒體信息檢索方法，，包括以下步驟：步驟1：獲取圖像；步驟2：輸入與所述圖像關聯的文字信息；步驟3：基于文本的互聯網圖像檢索，即以所輸入的文字信息為索引在互聯網數據庫中進行檢索；步驟4：提取并生成文本相關的圖像集；步驟5：基于內容的圖像檢索，在文本相關的圖像集中檢索與所述圖像匹配的圖像；步驟6：提取并生成視覺相關的圖像集；步驟7：提取圖像所在網頁中的關鍵詞；步驟8：提取在線內容；步驟9：顯示檢索結果。