[發明專利]基于姿勢的視覺搜索

有效

• 申請號: 201280023646.0
• 申請日: 2012-05-16
• 公開（公告）號: CN103562911A
• 公開（公告）日: 2014-02-05
• 發明（設計）人: T·梅;S·李;Y-Q·徐;N·張;Z·陳;J-T·孫
• 申請（專利權）人: 微軟公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06T1/00
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 羅婷婷

1.一種系統，包括：

一個或多個處理器；

存儲器，通信地耦合到所述一個或多個處理器，所述存儲器存儲指令，當所述指令被所述一個或多個處理器執行時，配置所述一個或多個處理器執行以下動作，包括：

從客戶機接收圖像；

將所述圖像分割成多個片段；

將經分割的圖像的至少一部分發送給所述客戶機；

從所述客戶機接收所述多個片段中的一個或多個所選片段；以及

響應于從所述客戶機接收到所述一個或多個所選片段，基于所述一個或多個所選片段來表述查詢。

2.如權利要求1所述的系統，其特征在于，所述動作還包括：

接收所述圖像的上下文信息；和/或

從所述客戶機接收所述圖像中的感興趣對象的類型信息。

3.如前述任一項權利要求所述的系統，其特征在于，表述查詢包括：

識別所述一個或多個所選片段中的對象，基于所述一個或多個所選片段中的識別出的對象來表述所述查詢；

從所述一個或多個所選片段中提取特征，基于被提取的特征確定來自詞匯樹的視覺字，以及基于所確定的視覺字來表述所述查詢；和/或

識別所述一個或多個所選片段中的文本，以及基于識別出的文本來表述所述查詢。

4.如前述任一項權利要求所述的系統，其特征在于，分割圖像包括：

基于所述圖像的顏色來分割所述圖像；和/或

基于從所述客戶機接收到的所述圖像中的感興趣對象的類型信息來分割所述圖像，其中基于接收到的類型信息來分割所述圖像包括：

識別具有根據來自所述圖像的接收到的類型信息的類型的一個或多個對象；

將所述一個或多個對象與所述圖像分割開來；以及

將所述一個或多個對象呈現為所述多個片段。

5.一種方法，包括：

在配置有可執行指令的一個或多個處理器的控制下：

將圖像顯示在客戶機設備的顯示器上，所述圖像包括多個片段；

接收從所述多個片段中選擇一個或多個片段的選擇姿勢；

基于所述一個或多個所選片段來實例化搜索查詢。

6.如權利要求5所述的方法，其特征在于，還包括接收所述圖像的上下文信息，其中實例化所述搜索查詢進一步基于所述圖像的上下文信息。

7.如前述任一項權利要求所述的方法，其特征在于，還包括：

將所述搜索查詢發送到搜索引擎；以及

從所述搜索引擎接收搜索結果。

8.如前述任一項權利要求所述的方法，其特征在于，還包括在顯示所述圖像之前：

在所述客戶機設備處將所述圖像分割成多個片段；

將所述圖像提供給基于姿勢的視覺搜索系統進行分割，以及從所述基于姿勢的視覺搜索系統接收所述圖像的所述多個片段；和/或

通過以下動作來獲得所述圖像：

通過所述客戶機設備的相機來捕捉所述圖像；

通過所述客戶機設備的照片應用選擇所述圖像；或者

從存儲在所述客戶機設備上或者所述客戶機設備可訪問的介質選擇所述圖像。

9.如前述任一項權利要求所述的方法，其特征在于，接收所述選擇姿勢包括：接收對所述客戶機設備的用戶界面的一個或多個觸摸輸入，所述一個或多個觸摸輸入與所述一個或多個所選片段相對應，或者接收框住或基本框住所述一個或多個所選片段的框選姿勢。

10.一個或多個配置有計算機可執行指令的計算機可讀介質，當所述計算機可執行指令被一個或多個處理器執行時，配置所述一個或多個處理器以執行以下的動作，包括：

從客戶機接收圖像以及與所述圖像相關聯的上下文信息；

基于與所述圖像相關聯的上下文信息將所述圖像分割成多個片段；

將經分割的圖像以所述多個片段的形式返回給所述客戶機；

從所述客戶機接收對所述多個片段中的一個或多個片段的選擇；

基于所述一個或多個所選片段以及與所述圖像相關聯的上下文信息來表述搜索查詢；

使用所述搜索查詢來執行搜索以獲得搜索結果；

以及

將所述搜索結果返回給所述客戶機。