[發明專利]基于圖像的語義距離

有效

• 申請號: 200980143703.7
• 申請日: 2009-10-27
• 公開（公告）號: CN102197393A
• 公開（公告）日: 2011-09-21
• 發明（設計）人: X-S·華;L·吳;S·李
• 申請（專利權）人: 微軟公司
• 主分類號: G06F17/00
• 分類號: G06F17/00;G06F17/30
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 陳斌

背景技術

探究概念之間的語義關系是近來的熱門研究課題，因為它在自然語言處理、對象檢測和多媒體檢索等領域有著廣泛應用。值得注意的是，語義關系不僅是同義詞(例如足球-英式足球)和概念相似性(例如馬-驢)。它還包括諸如整體部分關系(meronymy)(例如車輛-車輪)和并發性關系(例如飛機-機場)等關系。在該上下文中，并發性是指兩個概念可能在日常生活而非文本文檔中同時出現。更廣泛地，與可以在文本文檔領域中表示概念同現的術語“相似性”不同，術語“并發性”可以在視覺領域中表示概念同現或背景一致。

概述

本文所述的基于圖像的語義距離技術實施例涉及建立語義概念之間基于圖像的語義距離的量度。一般而言，這需要基于與每一概念相關聯的圖像集來分別為該概念計算語義概念表示。然后計算兩個語義概念表示之間的差異度，來為這對概念產生上述的語義距離量度。在某些實施例中，語義概念表示采用與所考慮語義概念相關聯的圖像的統計語言模型的形式，并且差異度采用統計分布散度量度的形式。

某些實施例還包括潛在語義分析以捕捉在用于計算語義概念表示的相關圖像集合中的概念的外觀(appearance)的變化。在這些實施例中，建立語義概念之間的基于圖像的語義距離量度通常需要基于與每個語義概念相關聯的圖像來為該概念計算語義概念表示，其中每個表示計入相關聯的語義概念的外觀的變化。一旦語義概念表示就緒，則計算一對語義概念表示之間的差異度以產生語義距離量度。在這種情形中，計算與這對語義概念表示中的第一個相關聯的每個外觀變化和與這對語義概念表示中的另一個相關聯的每個外觀變化之間的差異度的組合。

應該注意，提供本發明內容是為了以簡化的形式介紹將在以下詳細描述中進一步描述的一些概念。本發明內容并不旨在標識出所要求保護的主題的關鍵特征或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。

附圖說明

參考以下描述、所附權利要求書以及附圖，將更好地理解本發明的具體特征、方面和優點，附圖中：

圖1是概括示出用于建立語義概念之間的基于圖像的語義距離量度的一個過程實施例的流程圖。

圖2是示出圖1中過程的實現的框圖，采用視覺語言模型和詹森-香農(Jensen-Shannon)散度來用于建立語義概念之間的基于圖像的語義距離量度。

圖3是概括示出用于在計入概念外觀變化的同時建立語義概念之間的基于圖像的語義距離量度的一個過程實施例的流程圖。

圖4是描繪了構成用于實現本文所述的基于圖像的語義距離技術實施例的示例系統的通用計算設備的圖示。

詳細描述

在以下對基于圖像的語義距離技術實施例的描述中，對附圖進行了參考，附圖構成了實施例的一部分且在附圖中作為說明示出了可在其中實踐該技術的具體實施例?？梢岳斫猓梢允褂闷渌鼘嵤├⑶铱梢宰龀鼋Y構改變而不背離本發明技術的范圍。

1.0?基于圖像的語義距離

語義概念之間的關系可以涉及同義詞(例如足球-英式足球)或相似性(例如馬-驢)。它還包括諸如整體部分關系(meronymy)(例如車輛-車輪)和并發性(例如飛機-機場)之類的關系。某些語義概念更加緊密相關，諸如“飛機”和“機場”，而某些更加疏遠，諸如“衛城(acropolis)”和“酒精(alcohol)”。本文所述的基于圖像的語義距離技術實施例提供通過使用描繪概念的圖像來量化概念之間關系的緊密度的方式。由于語義概念之間的關系是人類感知的知識并且80％的人類認知來自于視覺信息，因此通過視覺相關性而非通過文本文檔中的概念同現來生成有關概念關系的人為知識是合理的。此外，視覺領域中的相關性不僅由圖像中低級別視覺特征的頻率表示，而且可以使用圖像中這些低級別視覺特征之間的空間信息。例如，相同的視覺特征(即車輪)頻繁同現在“車輛”和“摩托車”圖像中，但是它們的鄰近特征是不同的。由于忽視視覺特征之間的空間信息，這兩個概念可能被混淆。然而，如果考慮這些視覺特征的鄰近信息，概念之間的關系更加清晰。因此，視覺特征的安排在表示概念時也能提供信息。