[發明專利]相機輸入作為視頻搜索的自動過濾器機制

在審

• 申請號: 202080044843.5
• 申請日: 2020-09-03
• 公開（公告）號: CN114080602A
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 迪亞內·王;奧斯汀·米卡斯蘭德;保羅·科埃略
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06F16/535
• 分類號: G06F16/535;G06F16/55;G06F16/58;G06F16/583;G06N3/04;G06N3/06;G06N3/08;G06N20/00
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 鄧聰惠;周亞榮

一種方法，包括在第一時間接收文本查詢，在第一時間之后的第二時間接收與文本查詢相關聯的視覺輸入，基于視覺輸入生成文本，基于文本查詢和基于視覺輸入的文本的組合生成復合查詢，以及基于復合查詢生成搜索結果，該搜索結果包括到內容的多個鏈接。

本申請要求于2019年9月3日提交的美國申請No.62/895,278的權益，其公開內容通過引用整體并入本文。

技術領域

示例實施方式涉及使用用戶界面搜索內容和存儲可搜索內容。

背景技術

搜索內容(例如，文章、信息、指令、視頻等等)通常涉及使用用戶界面(例如，瀏覽器、應用、網站等等)將文本(例如，搜索字符串)鍵入到文本框中并啟動(initiating)(例如，通過擊鍵或點擊按鈕)數據結構(例如，數據庫、知識圖、文件結構等等)的搜索。搜索可以是基于文本的，并且搜索響應或結果可以是到被確定為與文本或搜索字符串相關的內容的鏈接的集合。結果可以被顯示在用戶界面上。

發明內容

在一般方面，一種設備、系統、非暫時性計算機可讀介質(在其上存儲有可以在計算機系統上執行的計算機可執行程序代碼)和/或一種方法，可以通過包括下述的方法來執行過程：在第一時間接收文本查詢，在第一時間之后的第二次接收與文本查詢相關聯的視覺輸入，基于視覺輸入生成文本，基于文本查詢和基于視覺輸入的文本的組合生成復合查詢，以及基于復合查詢生成搜索結果，該搜索結果包括到內容的多個鏈接。

在另一個一般方面，一種設備、系統、非暫時性計算機可讀介質(在其上存儲有可以在計算機系統上執行的計算機可執行程序代碼)和/或一種方法可以通過包括下述的方法來執行過程：接收文本查詢，接收與查詢相關聯的視覺輸入，基于文本查詢生成搜索結果，基于視覺輸入生成文本元數據，使用文本元數據過濾搜索結果，以及基于過濾生成過濾后的搜索結果，該過濾后的搜索結果提供到內容的多個鏈接。

在又一個總體方面，一種設備、系統、非暫時性計算機可讀介質(其上存儲有可以在計算機系統上執行的計算機可執行程序代碼)和/或一種方法可以通過包括下述的方法來執行過程：接收內容，接收與內容相關聯的視覺輸入，對視覺輸入執行對象標識，基于對象標識生成語義信息，以及存儲內容和與內容相關聯的語義信息。

實施方式可以包括以下特征中的一個或多個。例如，復合查詢可以是第一復合查詢。第一復合查詢的創建可以包括對視覺輸入執行對象標識，并且使用至少基于對象標識所標識的對象對查詢執行語義查詢添加以生成第一復合查詢，其中搜索結果是基于第一復合查詢。對象標識的執行可以使用經訓練的機器學習模型。對象標識的執行可以使用經訓練的機器學習模型，經訓練的機器學習模型可以為視覺輸入中的對象生成分類器，并且語義查詢添加的執行可以包括基于用于對象的分類器生成基于視覺輸入的文本。

該方法可以進一步包括確定對象標識中的第一置信水平是否滿足第一條件，并且至少使用所標識的滿足第一條件的對象對查詢執行語義查詢添加以生成第二復合查詢，搜索結果可以基于第二復合查詢。該方法可以進一步包括確定對象標識中的第二置信水平是否滿足第二條件，并且至少使用所標識的滿足第二條件的對象對查詢執行語義查詢添加以生成第三復合查詢，其中搜索結果基于第三復合查詢。第二置信水平可以高于第一置信水平。第一條件和第二條件可以由用戶配置。

附圖說明

從下文給出的詳細描述和附圖中將更全面地理解示例實施例，其中相同的元件由相同的附圖標記表示，這些附圖標記僅以說明的方式給出并且因此不限制示例實施例并且其中：

圖1A圖示根據至少一個示例實施例的用戶界面裝置的框圖。

圖1B圖示根據至少一個示例實施例的用戶界面裝置的框圖。

圖2A圖示根據至少一個示例實施例的裝置的框圖。

圖2B圖示根據至少一個示例實施例的存儲器的框圖。