[發明專利]基于姿勢的視覺搜索

有效

• 申請號: 201280023646.0
• 申請日: 2012-05-16
• 公開（公告）號: CN103562911A
• 公開（公告）日: 2014-02-05
• 發明（設計）人: T·梅;S·李;Y-Q·徐;N·張;Z·陳;J-T·孫
• 申請（專利權）人: 微軟公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06T1/00
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 羅婷婷

背景

移動設備(例如,移動電話)不僅成為用于通信的日常必需品，而且廣泛作為便攜式多媒體設備，用于捕獲和呈現數碼照片，播放音樂及電影，玩游戲等。隨著移動設備技術的到來,移動設備廠商已經為各種移動平臺,諸如WindowsMobile、Android和iOS開發了許多移動應用。某些移動應用已被從對應的臺式應用程序改編而來。從臺式對應產品改編的移動應用的一個示例應用是搜索應用。用戶可能想要執行與圖像有關的搜索。該用戶可隨后將一個或多個關鍵字鍵入到他/她的移動設備的搜索應用并基于上述關鍵字執行基于文本的搜索。然而，由于移動設備較小的屏幕尺寸以及較小的鍵盤，用戶可能發現難以使用他/她的移動設備來執行基于文本的搜索。

一些移動設備廠商通過允許用戶使用語音識別來執行基于語音的搜索改進了移動設備中搜索應用的可用性。用戶可以向搜索應用提供語音輸入，該搜索應用可將語音輸入翻譯成一個或多個文本關鍵字。搜索應用隨后可基于經翻譯的關鍵字來執行搜索。盡管基于語音的搜索提供了基于文本的搜索的替換方案，但該基于語音的搜索離完美還距離甚遠。例如，為了準確地識別語音輸入，基于語音的搜索通常要求安靜的背景，而這一要求對于在噪雜環境中行進的移動用戶而言可能是不實際的。

而且，用戶可能希望搜索以查找圖像中的對象或者用戶所處的位置中的對象。然而，如果用戶不知道該對象是什么，則該用戶可能向搜索應用提供不準確的或無意義的描述，而這可能導致檢索到不相關的信息。

概述

本概述介紹了在以下詳細描述中進一步描述的基于姿勢的視覺搜索的簡化概念。本概述并不旨在標識所要求保護的主題的必要特征，也不旨在用于確定所要求保護的主題的范圍。

本申請描述了基于姿勢的視覺搜索的示例實施例。在一個實施例中，圖像可以與或者不與該圖像相關聯的上下文信息一起從客戶機處被接收。與該圖像相關聯的上下文信息的示例包括但不限于：該圖像中感興趣對象的類型信息（例如臉部、建筑、車輛、文本等等），以及與該圖像相關聯的位置信息（例如，捕捉該圖像所在的物理位置信息、諸如可供查看或下載該圖像的web地址的虛擬位置信息等）。

響應于接收到上述圖像，可將圖像分割成多個片段。在一個實施例中，可基于與圖像相關聯的上下文信息將圖像分割成多個片段。在分割了圖像后，可將圖像的部分或者全部返回給客戶機來選擇這些片段中的一個或多個。在一個實施例中，所選擇的圖像片段可包括客戶機的用戶感興趣的對象。另外地或可選地，圖像的一個或多個所選片段可包括與圖像相關聯的文本。可基于所選的片段來表述搜索查詢。在某些實施例中，上述查詢也可基于所接收的與圖像相關聯的上下文信息。在某些實施例中，可將查詢呈現給客戶機設備的用戶以供確認上述搜索查詢。可使用搜索查詢來執行搜索，以獲得一個或多個搜索結果，該一個或多個搜索結果可被返回給客戶機。

附圖簡述

參考附圖闡述詳細描述。在附圖中，附圖標記中最左邊的數字標識該附圖標記首次出現的附圖。在不同附圖中使用相同的附圖標記指示相似或相同的項。

圖1示出包含示例性的基于姿勢的視覺搜索系統的示例環境。

圖2更詳細地示出了圖1的示例性的基于姿勢的視覺搜索系統。

圖3A和圖3B示出用于索引圖像數據庫中的圖像的示例索引結構。

圖4示出執行基于姿勢的視覺搜索的示例方法。

詳細描述

概覽

如上所述，用戶會發現難以使用已有的移動搜索技術在他/她的移動設備上執行搜索。例如，用戶可能想要找到關于圖像或圖像中對象的更多信息。用戶可通過將一個或多個文本關鍵字鍵入到他/她的移動設備（例如移動電話）中提供的搜索程序的文本框內來執行搜索以查找上述圖像或對象。然而，在移動設備的較小的屏幕尺寸和/或較小的鍵盤（若可用的話）的情況下，用戶會發現難以輸入關鍵字。這種情況在一個或多個文本關鍵字很長和/或很復雜時變得更糟。

作為替代，用戶可通過語音輸入和語音識別（若可用的話）輸入一個或多個關鍵字。但是，基于語音的搜索通常要求安靜的背景，如果用戶目前位于嘈雜環境，例如車輛或者公共場所，這種搜索可變得不可行。

更糟的是，如果用戶不知道圖像中的對象是什么，用戶可能不知道如何描述這一對象或者圖像來執行基于文本的搜索或者基于語音的搜索。例如，用戶可能注意到含有某電影演員的圖像并且想找到關于該電影演員的信息。然而，該用戶可能不知道或者沒記起他的名字，并由于他/她缺乏該演員的名稱的知識而被迫放棄搜索。