[發(fā)明專利]相機(jī)輸入作為視頻搜索的自動過濾器機(jī)制

在審

• 申請?zhí)枺?/td>: 202080044843.5
• 申請日: 2020-09-03
• 公開（公告）號: CN114080602A
• 公開（公告）日: 2022-02-22
• 發(fā)明（設(shè)計(jì)）人: 迪亞內(nèi)·王;奧斯汀·米卡斯蘭德;保羅·科埃略
• 申請（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號: G06F16/535
• 分類號: G06F16/535;G06F16/55;G06F16/58;G06F16/583;G06N3/04;G06N3/06;G06N3/08;G06N20/00
• 代理公司: 中原信達(dá)知識產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 鄧聰惠;周亞榮

1.一種方法，包括：

在第一時(shí)間由計(jì)算設(shè)備接收文本查詢；

在所述第一時(shí)間之后的第二時(shí)間由所述計(jì)算設(shè)備接收與所述文本查詢相關(guān)聯(lián)的視覺輸入；

基于所述視覺輸入生成文本；

由所述計(jì)算設(shè)備基于所述文本查詢和基于所述視覺輸入的所述文本的組合生成復(fù)合查詢；以及

由所述計(jì)算設(shè)備基于所述復(fù)合查詢生成搜索結(jié)果，所述搜索結(jié)果包括到內(nèi)容的多個(gè)鏈接。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述復(fù)合查詢是第一復(fù)合查詢，并且其中所述第一復(fù)合查詢的創(chuàng)建包括：

對所述視覺輸入執(zhí)行對象標(biāo)識；以及

至少使用基于所述對象標(biāo)識所標(biāo)識的對象對所述查詢執(zhí)行語義查詢添加以生成所述第一復(fù)合查詢，其中所述搜索結(jié)果基于所述第一復(fù)合查詢。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述對象標(biāo)識的執(zhí)行使用經(jīng)訓(xùn)練的機(jī)器學(xué)習(xí)模型。

4.根據(jù)權(quán)利要求2所述的方法，其中

所述對象標(biāo)識的執(zhí)行使用經(jīng)訓(xùn)練的機(jī)器學(xué)習(xí)模型，

所述經(jīng)訓(xùn)練的機(jī)器學(xué)習(xí)模型為所述視覺輸入中的對象生成分類器，并且

所述語義查詢添加的執(zhí)行包括基于所述對象的所述分類器基于所述視覺輸入生成所述文本。

5.根據(jù)權(quán)利要求2所述的方法，進(jìn)一步包括：

確定所述對象標(biāo)識中的第一置信水平是否滿足第一條件；以及

至少使用滿足所述第一條件的所標(biāo)識的所述對象對所述查詢執(zhí)行所述語義查詢添加以生成第二復(fù)合查詢，其中所述搜索結(jié)果基于所述第二復(fù)合查詢。

6.根據(jù)權(quán)利要求2至5中的任一項(xiàng)所述的方法，進(jìn)一步包括：

確定所述對象標(biāo)識中的第二置信水平是否滿足第二條件；以及

至少使用滿足所述第二條件的所標(biāo)識的所述對象對所述查詢執(zhí)行所述語義查詢添加以生成第三復(fù)合查詢，其中所述搜索結(jié)果基于所述第三復(fù)合查詢。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述第二置信水平高于所述第一置信水平。

8.根據(jù)權(quán)利要求6所述的方法，其中，所述第一條件和第二條件由用戶配置。

9.一種方法，包括：

由計(jì)算設(shè)備接收文本查詢；

由所述計(jì)算設(shè)備接收與所述查詢相關(guān)聯(lián)的視覺輸入；

由所述計(jì)算設(shè)備基于所述文本查詢生成搜索結(jié)果；

由所述計(jì)算設(shè)備基于所述視覺輸入生成文本元數(shù)據(jù)；

由所述計(jì)算設(shè)備使用所述文本元數(shù)據(jù)過濾所述搜索結(jié)果；以及

由所述計(jì)算設(shè)備基于所述過濾生成過濾后的搜索結(jié)果，所述過濾后的搜索結(jié)果提供到內(nèi)容的多個(gè)鏈接。

10.根據(jù)權(quán)利要求9所述的方法，其中，所述文本元數(shù)據(jù)是基于針對語義和視覺實(shí)體信息分析所述視覺輸入而生成的。

11.根據(jù)權(quán)利要求10所述的方法，其中，所述視覺輸入的分析使用多遍方法。

12.根據(jù)權(quán)利要求10所述的方法，其中，所述視覺輸入的分析使用經(jīng)訓(xùn)練的機(jī)器學(xué)習(xí)模型。

13.根據(jù)權(quán)利要求10所述的方法，其中

所述視覺輸入的分析使用經(jīng)訓(xùn)練的機(jī)器學(xué)習(xí)模型，

所述經(jīng)訓(xùn)練的機(jī)器學(xué)習(xí)模型為所述視覺輸入中的對象生成分類器，并且

所述搜索結(jié)果的過濾包括基于所述對象的所述分類器生成所述文本元數(shù)據(jù)。

14.根據(jù)權(quán)利要求9至13中任一項(xiàng)所述的方法，其中，所述查詢的所述搜索結(jié)果是基于將所述文本元數(shù)據(jù)與視頻視覺元數(shù)據(jù)庫的視頻的文本元數(shù)據(jù)進(jìn)行匹配而被過濾的。