[發明專利]有效地增強具有相關內容的圖像

有效

• 申請號: 201780090761.2
• 申請日: 2017-09-13
• 公開（公告）號: CN110651267B
• 公開（公告）日: 2023-09-19
• 發明（設計）人: 查爾斯·楊;路易斯·王;查爾斯·J·羅森貝格
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/953
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;鄧聰惠

本說明書的主題大體上涉及提供與圖像中描繪的文本相關的內容。在一個方面中，系統包括數據處理設備，所述數據處理設備被配置成從圖像中提取文本。所提取的文本被劃分成多個塊。所述多個塊在用戶界面上以第一縮放級呈現為相應的第一用戶可選目標。檢測對所述多個塊中的第一塊的用戶選擇。響應于檢測到對所述第一塊的所述用戶選擇，所述第一塊中的所提取的文本的部分在所述用戶界面上以大于所述第一縮放級的第二縮放級呈現為相應的第二用戶可選目標。響應于檢測到對所述第一塊內的所提取的文本的一部分的用戶選擇，基于用戶選擇文本的內容而發起動作。

背景技術

因特網提供諸如圖像文件、音頻文件、視頻文件和網頁的多種資源的訪問。搜索系統可以響應于查詢而識別資源。查詢可以是包括一個或多個搜索項或短語的文本查詢、包括圖像的圖像查詢，或文本查詢和圖像查詢的組合。搜索系統對資源進行排名，并且提供可以鏈接到所識別資源的搜索結果或提供與查詢相關的內容。

圖像(例如，數碼照片)已成為用戶收集信息并對信息進行處理的流行方式，這已在具有相機和相機優先應用的智能手機中得到廣泛應用。例如，已經在智能手機或其它裝置上拍攝照片的用戶可能想要獲取關于照片內容的更多信息。在一些情況下，用戶可能必須打開不同的應用來基于用戶在照片中識別的內容來輸入查詢，這樣非常麻煩并且可能導致查詢不準確或無效。

發明內容

本說明書描述用于呈現與圖像中描繪的文本相關的內容的系統、方法、裝置和技術。

一般來說，本說明書中描述的主題的一個創造性方面可以在一種方法中實施，所述方法包括由用戶裝置從捕獲的圖像中提取文本。用戶裝置可以將所提取的文本劃分成多個塊。用戶裝置可以在用戶裝置的用戶界面上以第一縮放級將塊呈現為相應的用戶可選目標。可以檢測多個塊中的第一塊的用戶選擇。響應于檢測到第一塊的用戶選擇，用戶裝置可以在用戶裝置的用戶界面上以大于第一縮放級的第二縮放級將第一塊中的所提取的文本的部分呈現為相應的第二用戶可選目標。響應于檢測到第一塊內的所提取的文本的一部分的用戶選擇，用戶裝置可以基于用戶選擇文本的內容而發起動作。此方面的其它實施方式包括對應設備、方法和在計算機存儲裝置上編碼的計算機程序，所述計算機程序被配置成執行方法的動作。

這些和其它實施方式可以任選地包括以下特征中的一個或多個。在一些方面中，發起動作可以包括發起與用戶選擇文本所識別的目標地址的通信。

發起動作可以包括基于用戶選擇文本的內容而生成搜索查詢，以及由用戶裝置將所述搜索查詢發送到搜索引擎。發起動作可以包括基于用戶選擇文本的內容而生成兩個或更多個候選搜索查詢，在用戶界面上顯示候選搜索查詢，以及響應于候選查詢中的一個的用戶選擇，由用戶裝置將所選擇候選查詢發送到搜索引擎。

一些方面可以包括由用戶裝置從圖像中提取場境。生成搜索查詢或候選搜索查詢可以包括進一步基于圖像的所提取場境而生成搜索查詢或候選搜索查詢。

一些方面可以包括由用戶裝置從圖像中提取場境；以及由用戶裝置使用圖像的所提取的場境來確定圖像是否落入多個預定類別中的一個中。生成搜索查詢或候選搜索查詢可以包括：如果圖像落入預定類別中的一個中，則基于所提取的場境而生成搜索查詢或候選搜索查詢；否則，僅基于用戶選擇文本的內容而生成搜索查詢或候選搜索查詢。

在一些方面中，針對至少一個塊并且在塊中的任一個的用戶選擇之前，用戶裝置可以基于塊中的所提取的文本而生成一個或多個搜索查詢。用戶裝置可以將一個或多個搜索查詢從用戶裝置發送到搜索引擎。在將塊作為相應的用戶可選目標呈現在用戶界面上之前，用戶裝置可以生成一個或多個搜索查詢并且發送一個或多個搜索查詢。

在一些方面中，用戶裝置可以基于一個或多個搜索查詢而從搜索引擎接收搜索結果內容，并且將接收到的搜索結果內容存儲在用戶裝置的本地存儲器中。基于塊中的所提取的文本而生成一個或多個搜索查詢可以包括以第一基于文本的粒度級將塊中的所提取的文本解析成多個第一文本集，以及生成每個第一文本集的搜索查詢。