[發(fā)明專利]有效地增強(qiáng)具有相關(guān)內(nèi)容的圖像

有效

• 申請?zhí)枺?/td>: 201780090761.2
• 申請日: 2017-09-13
• 公開（公告）號: CN110651267B
• 公開（公告）日: 2023-09-19
• 發(fā)明（設(shè)計(jì)）人: 查爾斯·楊;路易斯·王;查爾斯·J·羅森貝格
• 申請（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/953
• 代理公司: 中原信達(dá)知識產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 周亞榮;鄧聰惠

本說明書的主題大體上涉及提供與圖像中描繪的文本相關(guān)的內(nèi)容。在一個(gè)方面中，系統(tǒng)包括數(shù)據(jù)處理設(shè)備，所述數(shù)據(jù)處理設(shè)備被配置成從圖像中提取文本。所提取的文本被劃分成多個(gè)塊。所述多個(gè)塊在用戶界面上以第一縮放級呈現(xiàn)為相應(yīng)的第一用戶可選目標(biāo)。檢測對所述多個(gè)塊中的第一塊的用戶選擇。響應(yīng)于檢測到對所述第一塊的所述用戶選擇，所述第一塊中的所提取的文本的部分在所述用戶界面上以大于所述第一縮放級的第二縮放級呈現(xiàn)為相應(yīng)的第二用戶可選目標(biāo)。響應(yīng)于檢測到對所述第一塊內(nèi)的所提取的文本的一部分的用戶選擇，基于用戶選擇文本的內(nèi)容而發(fā)起動作。

背景技術(shù)

因特網(wǎng)提供諸如圖像文件、音頻文件、視頻文件和網(wǎng)頁的多種資源的訪問。搜索系統(tǒng)可以響應(yīng)于查詢而識別資源。查詢可以是包括一個(gè)或多個(gè)搜索項(xiàng)或短語的文本查詢、包括圖像的圖像查詢，或文本查詢和圖像查詢的組合。搜索系統(tǒng)對資源進(jìn)行排名，并且提供可以鏈接到所識別資源的搜索結(jié)果或提供與查詢相關(guān)的內(nèi)容。

圖像(例如，數(shù)碼照片)已成為用戶收集信息并對信息進(jìn)行處理的流行方式，這已在具有相機(jī)和相機(jī)優(yōu)先應(yīng)用的智能手機(jī)中得到廣泛應(yīng)用。例如，已經(jīng)在智能手機(jī)或其它裝置上拍攝照片的用戶可能想要獲取關(guān)于照片內(nèi)容的更多信息。在一些情況下，用戶可能必須打開不同的應(yīng)用來基于用戶在照片中識別的內(nèi)容來輸入查詢，這樣非常麻煩并且可能導(dǎo)致查詢不準(zhǔn)確或無效。

發(fā)明內(nèi)容

本說明書描述用于呈現(xiàn)與圖像中描繪的文本相關(guān)的內(nèi)容的系統(tǒng)、方法、裝置和技術(shù)。

一般來說，本說明書中描述的主題的一個(gè)創(chuàng)造性方面可以在一種方法中實(shí)施，所述方法包括由用戶裝置從捕獲的圖像中提取文本。用戶裝置可以將所提取的文本劃分成多個(gè)塊。用戶裝置可以在用戶裝置的用戶界面上以第一縮放級將塊呈現(xiàn)為相應(yīng)的用戶可選目標(biāo)。可以檢測多個(gè)塊中的第一塊的用戶選擇。響應(yīng)于檢測到第一塊的用戶選擇，用戶裝置可以在用戶裝置的用戶界面上以大于第一縮放級的第二縮放級將第一塊中的所提取的文本的部分呈現(xiàn)為相應(yīng)的第二用戶可選目標(biāo)。響應(yīng)于檢測到第一塊內(nèi)的所提取的文本的一部分的用戶選擇，用戶裝置可以基于用戶選擇文本的內(nèi)容而發(fā)起動作。此方面的其它實(shí)施方式包括對應(yīng)設(shè)備、方法和在計(jì)算機(jī)存儲裝置上編碼的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被配置成執(zhí)行方法的動作。

這些和其它實(shí)施方式可以任選地包括以下特征中的一個(gè)或多個(gè)。在一些方面中，發(fā)起動作可以包括發(fā)起與用戶選擇文本所識別的目標(biāo)地址的通信。

發(fā)起動作可以包括基于用戶選擇文本的內(nèi)容而生成搜索查詢，以及由用戶裝置將所述搜索查詢發(fā)送到搜索引擎。發(fā)起動作可以包括基于用戶選擇文本的內(nèi)容而生成兩個(gè)或更多個(gè)候選搜索查詢，在用戶界面上顯示候選搜索查詢，以及響應(yīng)于候選查詢中的一個(gè)的用戶選擇，由用戶裝置將所選擇候選查詢發(fā)送到搜索引擎。

一些方面可以包括由用戶裝置從圖像中提取場境。生成搜索查詢或候選搜索查詢可以包括進(jìn)一步基于圖像的所提取場境而生成搜索查詢或候選搜索查詢。

一些方面可以包括由用戶裝置從圖像中提取場境；以及由用戶裝置使用圖像的所提取的場境來確定圖像是否落入多個(gè)預(yù)定類別中的一個(gè)中。生成搜索查詢或候選搜索查詢可以包括：如果圖像落入預(yù)定類別中的一個(gè)中，則基于所提取的場境而生成搜索查詢或候選搜索查詢；否則，僅基于用戶選擇文本的內(nèi)容而生成搜索查詢或候選搜索查詢。

在一些方面中，針對至少一個(gè)塊并且在塊中的任一個(gè)的用戶選擇之前，用戶裝置可以基于塊中的所提取的文本而生成一個(gè)或多個(gè)搜索查詢。用戶裝置可以將一個(gè)或多個(gè)搜索查詢從用戶裝置發(fā)送到搜索引擎。在將塊作為相應(yīng)的用戶可選目標(biāo)呈現(xiàn)在用戶界面上之前，用戶裝置可以生成一個(gè)或多個(gè)搜索查詢并且發(fā)送一個(gè)或多個(gè)搜索查詢。

在一些方面中，用戶裝置可以基于一個(gè)或多個(gè)搜索查詢而從搜索引擎接收搜索結(jié)果內(nèi)容，并且將接收到的搜索結(jié)果內(nèi)容存儲在用戶裝置的本地存儲器中。基于塊中的所提取的文本而生成一個(gè)或多個(gè)搜索查詢可以包括以第一基于文本的粒度級將塊中的所提取的文本解析成多個(gè)第一文本集，以及生成每個(gè)第一文本集的搜索查詢。