[發明專利]一種實例檢索方法、裝置、設備及存儲介質

在審

• 申請號: 202310036054.2
• 申請日: 2023-01-10
• 公開（公告）號: CN116166840A
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 梁超;郭佳昊;魯安康;楊晶垚;王中元
• 申請（專利權）人: 武漢大學
• 主分類號: G06F16/732
• 分類號: G06F16/732;G06F16/783
• 代理公司: 武漢智權專利代理事務所(特殊普通合伙) 42225
• 代理人: 張凱

1.一種實例檢索方法，其特征在于，包括：

獲取視頻中的鏡頭類型，并提取視頻中每個鏡頭的關鍵幀，根據所述關鍵幀，對目標鏡頭的每個關鍵幀中的人物和地點進行檢測，以確定目標鏡頭的人物預測向量和地點預測向量；

根據所述目標鏡頭的人物預測向量和地點預測向量，建立人物語義視覺相似度矩陣和地點語義視覺相似度矩陣；

對視頻中每個鏡頭的位置進行編碼；

將所述鏡頭類型、人物語義視覺相似度矩陣、地點語義視覺相似度矩陣以及每個鏡頭的位置編碼，輸入到時空注意力模型中，計算人物語義相關性系數和地點語義相關性系數；

根據人物語義相關性系數與所述人物預測向量之間的關系以及地點語義相關性系數與所述地點預測向量之間的關系，確定修正的人物預測檢索得分和修正的地點預測檢索得分，并選擇最高預測檢索得分，作為最終人物-地點關聯檢索結果。

2.根據權利要求1所述的方法，其特征在于，所述獲取視頻中的鏡頭類型，并提取視頻中每個鏡頭的關鍵幀，根據所述關鍵幀，對目標鏡頭的每個關鍵幀中的人物和地點進行檢測，以確定目標鏡頭的人物預測向量和地點預測向量，包括：

將視頻劃分為鏡頭集，通過鏡頭類型檢測算檢測鏡頭類型，所述鏡頭類型包括：鏡頭尺度和鏡頭運動，其中鏡頭尺度包括：近鏡頭、中鏡頭、遠鏡頭，鏡頭運動包括：推鏡頭、拉鏡頭、靜止鏡頭；

通過平均采樣提取視頻中每個鏡頭的關鍵幀，確定目標鏡頭的每個人物關鍵幀和地點關鍵幀；

根據所述目標鏡頭的每個人物關鍵幀和地點關鍵幀，生成幀級人物預測向量和幀級地點預測向量；

對所述幀級人物預測向量和幀級地點預測向量進行平均池化，得到目標鏡頭的人物預測向量和地點預測向量。

3.根據權利要求1所述的方法，其特征在于，根據所述目標鏡頭的人物預測向量和地點預測向量，建立人物語義視覺相似度矩陣和地點語義視覺相似度矩陣，包括：

在設定場景下，建立不同鏡頭間的人物語義的視覺相似度矩陣和地點語義的視覺相似度矩陣；

所述人物語義的視覺相似度矩陣為其中表示第i個鏡頭和第j個鏡頭在人物語義上的視覺相似度；

所述地點語義的視覺相似度矩陣為其中表示第i個鏡頭和第j個鏡頭在地點語義上的視覺相似度。

4.根據權利要求1所述的方法，其特征在于，所述計算人物語義相關性系數和地點語義相關性系數，包括：

根據公式計算人物語義相關性系數，其中stack()表示等長的三個向量進行堆疊得到一個3×N維的輸入矩陣，v為鏡頭類型向量，w^pW^p為自注意力模型的投影參數矩陣，h_n為鏡頭的位置向量，為第n個鏡頭與場景下其他鏡頭在人物語義上的視覺相似度；

根據公式計算地點語義相關性系數，w^lW^l為自注意力模型的投影參數矩陣為第n個鏡頭與場景下其他鏡頭在地點語義上的視覺相似度。

5.根據權利要求1所述的方法，其特征在于，所述根據人物語義相關性系數與所述人物預測向量之間的關系以及地點語義相關性系數與所述地點預測向量之間的關系，確定修正的人物預測檢索得分和修正的地點預測檢索得分，包括：

根據人物語義相關性系數與所述人物預測向量的乘積，通過公式計算修正的人物預測檢索得分，其中為人物預測向量，為人物語義相關性系數；

根據地點語義相關性系數與所述地點預測向量的乘積，通過公式計算修正的地點預測檢索得分，其中為地點預測向量，為地點語義相關性系數。

6.根據權利要求5所述的方法，其特征在于，還包括：

將修正的人物預測得分乘以未修正的地點預測得分，以及修正的地點預測得分乘以未修正的人物預測得分，二者取最大值作為最終人物-地點關聯檢索得分；

根據公式計算最高預測檢索得分，其中為修正的人物預測得分，為未修正的地點預測得分，為未修正的人物預測得分，為修正的地點預測得分。