[發明專利]視頻搜索方法及裝置、電子設備和介質

在審

• 申請號: 202110491953.2
• 申請日: 2021-05-06
• 公開（公告）號: CN113139094A
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 劉俊啟
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06K9/00
• 代理公司: 北京市漢坤律師事務所 11602
• 代理人: 姜浩然;吳麗麗

本公開提供了一種視頻搜索方法及裝置、電子設備和介質，涉及圖像及視頻處理技術領域，具體涉及人工智能和計算機視覺技術，可應用于視頻理解場景下。實現方案為：根據待搜索視頻的圖像幀對應的對象，確定待搜索視頻包括的至少一個對象片段，每個對象片段中的各圖像幀對應于相同的對象；將上述至少一個對象片段中的一個或多個連續的對象片段的對象在場數據對進行拼接，得到待搜索視頻的第一對象在場特征，其中，對象在場數據對包括相應對象片段對應的對象和時長；以及根據第一對象在場特征，從多個候選視頻中確定與待搜索視頻相匹配的至少一個目標視頻。

技術領域

本公開涉及圖像及視頻處理技術領域，尤其涉及人工智能和計算機視覺技術，可應用于視頻理解場景下。具體涉及一種視頻搜索的方法、裝置、電子設備、計算機可讀存儲介質和計算機程序產品。

背景技術

人工智能是研究使計算機來模擬人的某些思維過程和智能行為(如學習、推理、思考、規劃等)的學科，既有硬件層面的技術也有軟件層面的技術。人工智能硬件技術一般包括如傳感器、專用人工智能芯片、云計算、分布式存儲、大數據處理等技術：人工智能軟件技術主要包括計算機視覺技術、語音識別技術、自然語言處理技術以及機器學習/深度學習、大數據處理技術、知識圖譜技術等幾大方向。

視頻相較于文本、圖像等信息傳播媒介可以提供更豐富的信息內容。在一些場景中，用戶希望通過搜索來獲取其需要的視頻。現有的視頻搜索方法通常是基于文本的搜索，即，通過匹配用戶輸入的搜索詞與視頻庫中的各個視頻的文本標簽來得到搜索結果。這種搜索方式與視頻本身的內容無關，僅依賴于用戶輸入的搜索詞和視頻文本標簽標注的準確性，搜索結果通常難以令用戶滿意。

在此部分中描述的方法不一定是之前已經設想到或采用的方法。除非另有指明，否則不應假定此部分中描述的任何方法僅因其包括在此部分中就被認為是現有技術。類似地，除非另有指明，否則此部分中提及的問題不應認為在任何現有技術中已被公認。

發明內容

本公開提供了一種視頻搜索的方法、裝置、電子設備、計算機可讀存儲介質和計算機程序產品。

根據本公開的一方面，提供了一種視頻搜索方法，該方法包括：根據待搜索視頻的圖像幀對應的對象，確定待搜索視頻包括的至少一個對象片段，每個對象片段中的各圖像幀對應于相同的對象；將上述至少一個對象片段中的一個或多個連續的對象片段的對象在場數據對進行拼接，得到待搜索視頻的第一對象在場特征，其中，對象在場數據對包括相應對象片段對應的對象和時長；以及根據第一對象在場特征，從多個候選視頻中確定與待搜索視頻相匹配的至少一個目標視頻。

根據本公開的另一方面，提供了一種視頻搜索裝置，該裝置包括：對象片段劃分模塊，被配置為根據待搜索視頻的圖像幀對應的對象，確定待搜索視頻包括的至少一個對象片段，每個對象片段中的各圖像幀對應于相同的對象；特征提取模塊，被配置為將上述至少一個對象片段中的一個或多個連續的對象片段的對象在場數據對進行拼接，得到待搜索視頻的第一對象在場特征，其中，對象在場數據對包括相應對象片段對應的對象和時長；以及特征匹配模塊，被配置為根據第一對象在場特征，從多個候選視頻中確定與待搜索視頻相匹配的至少一個目標視頻。

根據本公開的另一方面，提供了一種電子設備，包括：至少一個處理器；以及與上述至少一個處理器通信連接的存儲器。該存儲器存儲有可被上述至少一個處理器執行的指令，該指令被上述至少一個處理器執行，以使上述至少一個處理器能夠執行上述任一方面的方法。

根據本公開的另一方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質。該計算機指令用于使計算機執行上述任一方面的方法。

根據本公開的另一方面，提供了一種計算機程序產品，包括計算機程序。該計算機程序在被處理器執行時實現上述任一方面的方法。