[發明專利]一種基于語義和內容的半自動圖像標注方法

有效

• 申請號: 200810122244.1
• 申請日: 2008-11-13
• 公開（公告）號: CN101419606A
• 公開（公告）日: 2009-04-29
• 發明（設計）人: 吳朝暉;鄭清照;丁艷春;姜曉紅
• 申請（專利權）人: 浙江大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州裕陽專利事務所（普通合伙）
• 代理人: 張驍敏

技術領域

本發明涉及一種計算機圖像搜索和圖像標注方法，尤其是一種基于語義和內容的半自動圖像標注方法。

背景技術

近十多年來，隨著計算機網絡技術的迅速發展、普及應用以及數據存儲代價的大幅度下滑，多媒體數據庫的使用變得越來越普遍。以圖像、音樂、視頻形式展現的多媒體信息無論在商業還是娛樂中都顯現出了日益重要的作用。如何對如此大量的數據進行有效地管理和組織，并從中搜索出用戶所需要的信息就成為非常重要的問題。對于多媒體數據，尤其是圖像數據的瀏覽、搜索以及索引技術的研究已經有了很長時間的歷史。如今，有關圖像數據庫和視覺信息搜索的話題已經變成了研究領域中最為活躍的一部分。

一個典型的圖像搜索過程通常由一個初始查詢和其后的一串相關反饋構成，通過這些反饋，用戶對檢索得到的內容做出評價。一個用戶查詢首先向系統提供了一組對于想要圖像的描述。對于一個被標注了關鍵字的圖像數據庫來說，這些描述可以是一組關鍵字查詢；對于一個被抽取了諸如全局亮度、像素點顏色百分比等量化特征向量的圖像數據庫來說，這些描述可以是一張案例圖像。前一種的方式被稱作為基于語義的圖像搜索，后一種被稱作為基于內容的圖像搜索。對于一個基于語義的圖像搜索系統，我們一般可通過人為標注或者機器標注的方法給數據庫中的圖像進行標注。人為標注精確度高，但效率低；機器標注效率高，但精確度低。對于一個基于內容的圖像搜索系統，用戶一般很難去定義這些描述，同時計算機程序也很難理解這些描述。此外，即使用戶提供了一個比較不錯的初始查詢，如何讓之后的反饋信息作用于系統也是一個很大的問題。

因此使用了人工標注的基于語義的圖像搜索，使用了機器標注的基于語義的圖像搜索以及基于內容的圖像搜索這三種方式各有利弊，目前還沒有一種能夠結合上述三者優點的圖像標注索引系統。

發明內容

本發明所要解決的技術問題是提供一種效率高、精確度高、交互方式友好的基于語義和內容的半自動圖像標注方法。

本發明解決上述問題所采用的技術方案是：該標注方法包括以下步驟：

(1)建立基于語義和內容的反饋圖像檢索系統，該系統的模型用三元組表示為(F，Q，R(f_q，f_d))，其中F是由數據庫中所有圖像的語義特征向量和內容特征向量f構成的集合，Q是用戶所表達的圖像語義和內容信息需求的特征集，R(f_q，f_d)是計算f_q∈Q，f_d∈F得到的相似度，并按照R(f_q，f_d)計算得到的相似度大小從大到小排列的排列函數；

(2)用戶提交基于關鍵詞的查詢，系統將關鍵詞序列轉換為一組語義特征向量ω′_i，每個關鍵詞的對應權值與該關鍵詞出現在查詢序列中的位置成反比，系統使用排列函數R(f_q，f_d)對數據庫中的所有圖像做基于語義的查詢，將查詢結果按照排序的高低返回給用戶；

(3)用戶從查詢結果中選擇比較滿意的圖像并反饋給系統，系統再次使用排列函數R(f_q，f_d)對數據庫中的所有圖像做基于語義或者基于內容或者綜合語義和內容的進行查詢，找出所有與用戶認為比較滿意的圖像相似的圖像，并將查詢結果按照排序的高低返回給用戶，同時對每張圖像相對應的標注信息的權值進行調整。

本發明所述的內容特征向量使用顏色特征向量和紋理特征向量。

本發明在步驟(3)做綜合語義和內容的查詢時，將顏色特征向量和紋理特征向量按一定的混合比結合，然后得到一個最終的相似度，該混合比是用戶隨自己的需求進行設定，也使用系統默認的混合比。

本發明在數據庫中，每張圖像與其對應的一組標注信息的權值構成語義網絡，在每張圖像與標注信息的權值的鏈路上都賦有一個用于表示圖像和標注信息的權值間的相干度的權值。

本發明所述權值采用tf-idf權值，tf-idf的向量R為