[發明專利]一種實例檢索方法、裝置、設備及存儲介質

在審

• 申請號: 202310036054.2
• 申請日: 2023-01-10
• 公開（公告）號: CN116166840A
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 梁超;郭佳昊;魯安康;楊晶垚;王中元
• 申請（專利權）人: 武漢大學
• 主分類號: G06F16/732
• 分類號: G06F16/732;G06F16/783
• 代理公司: 武漢智權專利代理事務所(特殊普通合伙) 42225
• 代理人: 張凱

本發明公開了一種實例檢索方法、裝置、設備及存儲介質，該方法包括步驟：獲取視頻中的鏡頭類型，并提取視頻中每個鏡頭的關鍵幀，根據所述關鍵幀，對目標鏡頭的每個關鍵幀中的人物和地點進行檢測，以確定目標鏡頭的人物預測向量和地點預測向量；根據所述目標鏡頭的人物預測向量和地點預測向量，建立人物語義視覺相似度矩陣和地點語義視覺相似度矩陣；對視頻中每個鏡頭的位置進行編碼；將所述鏡頭類型、人物語義視覺相似度矩陣、地點語義視覺相似度矩陣以及每個鏡頭的位置編碼，輸入到時空注意力模型，最終得到具有語義關聯性的人物?地點語義檢索結果。本申請能夠提高復合語義實例檢索的精度，并且有效避免了人物和地點語義檢索得分互斥的問題。

技術領域

本發明涉及計算機視覺技術領域，尤其涉及一種實例檢索方法、裝置、設備及存儲介質。

背景技術

實例檢索技術是從視頻中細致地查找出某類對象中的特定個體，例如在視頻偵查中，辦案人員關注的重點通常不會是一般意義上的行人或者車輛，而是與案件密切相關的特定嫌疑目標。類似地，在觀看影視劇時，觀眾的焦點通常也不會是一般的角色人物，而是更多地放在男、女主角身上。相比于概念檢索，實例檢索的目標不再是查找某一類對象，而是從這一類對象的眾多個體中去查找特定的個體。這種檢索粒度上的變化使得多媒體實例檢索問題面臨著較以往類別檢索更為嚴峻的挑戰。

得益于深度學習技術的飛速發展，針對單一語義的視頻實例檢索技術已經取得了令人欣喜的進展，現在既可以從影視劇視頻中檢索出特定的角色人物，也可以從監控視頻中準確檢索出特定的行人或者車輛，還可以從體育視頻中精準定位特定的明星球員。

目前現有的“人物-地點”復合語義檢索方法大致有兩種：

第一種方法沒有考慮人物和地點二者間在影視劇中存在的語義關聯信息，而是直接簡單地將“人物”和“地點”檢索結果相疊加來得到“人物-地點”二元語義的檢索結果。這種方法沒有考慮到復合語義的關聯信息，因此在面對人物-地點語義檢索得分互斥的問題時檢索效果并不理想。

第二種方法采用固定范圍(前四后四一共八個鏡頭)和固定相關性(采用高斯分布按鏡頭間隔衰減賦值)的鏡頭集合對當前鏡頭的語義檢索得分進行推測。但是這種做法存在兩個明顯缺陷：首先，不同視頻對于最佳“固定范圍”的界定存在極大差異，甚至同一視頻內部不同場景下的情況也千差萬別，因此使用固定范圍的鏡頭組來進行分數重構的思路其泛化性不強。

因此，如何提高復合語義檢索結果的精度，是目前亟需解決的技術問題。

發明內容

本發明主要目的在于提供了一種實例檢索方法、裝置、設備及存儲介質，能夠提高復合語義實例檢索的精度，并且有效避免了人物和地點語義檢索得分互斥的問題。

第一方面，本申請提供了一種實例檢索方法，該方法包括步驟：

獲取視頻中的鏡頭類型，并提取視頻中每個鏡頭的關鍵幀，根據所述關鍵幀，對目標鏡頭的每個關鍵幀中的人物和地點進行檢測，以確定目標鏡頭的人物預測向量和地點預測向量；

根據所述目標鏡頭的人物預測向量和地點預測向量，建立人物語義視覺相似度矩陣和地點語義視覺相似度矩陣；

對視頻中每個鏡頭的位置進行編碼；

將所述鏡頭類型、人物語義視覺相似度矩陣、地點語義視覺相似度矩陣以及每個鏡頭的位置編碼，輸入到時空注意力模型中，計算人物語義相關性系數和地點語義相關性系數；

根據人物語義相關性系數與所述人物預測向量之間的關系以及地點語義相關性系數與所述地點預測向量之間的關系，確定修正的人物預測檢索得分和修正的地點預測檢索得分，并選擇最高預測檢索得分，作為最終人物-地點關聯檢索結果。

一種可能的實施方式中，將視頻劃分為鏡頭集，通過鏡頭類型檢測算檢測鏡頭類型，所述鏡頭類型包括：鏡頭尺度和鏡頭運動，其中鏡頭尺度包括：近鏡頭、中鏡頭、遠鏡頭，鏡頭運動包括：推鏡頭、拉鏡頭、靜止鏡頭；