[發(fā)明專利]交互式疑難人像檢索的方法、客戶端及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011010994.7
• 申請(qǐng)日: 2020-09-23
• 公開（公告）號(hào): CN112269889B
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計(jì)）人: 王茜;劉民
• 申請(qǐng)（專利權(quán)）人: 上海市刑事科學(xué)技術(shù)研究院
• 主分類號(hào): G06F16/55
• 分類號(hào): G06F16/55;G06F16/58;G06K9/62;G06F16/532
• 代理公司: 上海圖靈知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31393
• 代理人: 謝微

1.一種交互式疑難人像檢索的方法，其特征在于包括步驟：

步驟100，獲取圖像,將圖像轉(zhuǎn)化為基于語(yǔ)義屬性標(biāo)簽的圖像表示集；

步驟200，接收用戶輸入的查詢，獲取用戶針對(duì)該查詢選擇的語(yǔ)義屬性信息；根據(jù)用戶的選擇標(biāo)記顯著性語(yǔ)義屬性，按照?qǐng)D像是否帶有顯著性語(yǔ)義屬性將前述圖像表示集分類為顯著性屬性圖像集和非顯著性屬性圖像集，對(duì)顯著性屬性圖像集和非顯著性屬性圖像集分別進(jìn)行分類排序，并根據(jù)排序結(jié)果生成初始候選人排序隊(duì)列；

步驟300，通過(guò)混合相似度再排序交互檢索獲取用戶確定的最終目標(biāo)；其中，通過(guò)層進(jìn)式人機(jī)交互獲取用戶的選擇信息，針對(duì)每次選擇對(duì)候選人排序隊(duì)列進(jìn)行混合相似度再排序，生成下一循環(huán)的候選人排序隊(duì)列供用戶再選擇，獲取用戶確定的最終目標(biāo)后結(jié)束循環(huán)；

其中，轉(zhuǎn)化形成圖像表示集Y的具體步驟包括：

設(shè)I幅訓(xùn)練圖像集X為，其中，，v為圖像向量的維度；設(shè)L個(gè)行業(yè)標(biāo)準(zhǔn)化語(yǔ)義屬性集Z為，其中，；通過(guò)MLCNN神經(jīng)網(wǎng)絡(luò)，將訓(xùn)練圖像集轉(zhuǎn)化為v×L維的基于語(yǔ)義屬性標(biāo)簽的圖像表示集Y為，其中，

，

式中，函數(shù)為從到的轉(zhuǎn)化函數(shù)；

在每個(gè)語(yǔ)義屬性的貢獻(xiàn)參數(shù)一致的情況下，圖像基于各語(yǔ)義屬性的分值函數(shù)為個(gè)分屬性損失函數(shù)的和，的計(jì)算公式如下，

式中，表示各有效語(yǔ)義屬性的softmax多標(biāo)記損失函數(shù)值，的計(jì)算公式如下，

；

根據(jù)生成的屬性分值矩陣S_i，獲得各圖像和間基于屬性的距離函數(shù)，計(jì)算公式如下，

，

式中，為的屬性分值矩陣，為的屬性分值矩陣。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于：所述語(yǔ)義屬性標(biāo)簽為公安行業(yè)標(biāo)準(zhǔn)化的人像語(yǔ)義屬性標(biāo)簽，根據(jù)公安行業(yè)標(biāo)準(zhǔn)化的人像語(yǔ)義屬性標(biāo)簽構(gòu)建多標(biāo)簽學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)后，通過(guò)所述多標(biāo)簽學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)將圖像數(shù)據(jù)轉(zhuǎn)化為基于公安行業(yè)語(yǔ)義屬性標(biāo)簽的圖像表示集Y。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于：在層進(jìn)式人機(jī)交互過(guò)程中，通過(guò)設(shè)置機(jī)器視覺識(shí)別輔助用戶進(jìn)行判斷。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于：步驟200中，所述語(yǔ)義屬性信息包括語(yǔ)義屬性的名稱和屬性值，獲取用戶針對(duì)該查詢選擇的語(yǔ)義屬性信息的步驟包括：

根據(jù)用戶輸入的查詢提取查詢的特征；

根據(jù)查詢的特征，在終端顯示結(jié)構(gòu)上輸出一系列語(yǔ)義屬性對(duì)應(yīng)的屬性值以供用戶選擇；

獲取用戶選擇的語(yǔ)義屬性的屬性值。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于：步驟200中，生成初始候選人排序隊(duì)列的步驟包括：

獲取用戶選擇的語(yǔ)義屬性集合，將前述L中的所有語(yǔ)義屬性分類為顯著性屬性和非顯著性屬性，將語(yǔ)義屬性集Z的調(diào)整為，并設(shè)置顯著性屬性判斷函數(shù)為：

；

根據(jù)圖像是否帶有顯著性屬性，將圖像表示集分類為包含顯著性屬性圖像表示集和非顯著性屬性圖像表示集，可知；

為突出顯著性屬性的作用，調(diào)整的計(jì)算公式中的屬性貢獻(xiàn)值，調(diào)整后如下：

，

式中，表示判斷語(yǔ)義屬性為顯著性，表示判斷語(yǔ)義屬性為非顯著性；r表示交互的循環(huán)次數(shù)；表示當(dāng)語(yǔ)義屬性為顯著性或語(yǔ)義屬性為非顯著性時(shí)選用不同的屬性貢獻(xiàn)值；其中，的初始值為設(shè)置為，

且；

將調(diào)整后的帶入的計(jì)算公式進(jìn)行重新計(jì)算，得到兩個(gè)基于目標(biāo)的按距離倒序排序的隊(duì)列，分別為顯著性語(yǔ)義屬性隊(duì)列和非顯著性語(yǔ)義屬性隊(duì)列，式中，表示第r次人工交互的選擇目標(biāo)；

然后，通過(guò)取位函數(shù)分別獲取的前位和前位形成候選人排序隊(duì)列Candidate(r)，即：

其中，當(dāng)r=0時(shí)，表示初始候選人排序隊(duì)列。