[發(fā)明專利]確定人和物關(guān)聯(lián)度的方法、裝置及計算機(jī)可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201810574016.1
• 申請日: 2018-06-06
• 公開（公告）號: CN108898067B
• 公開（公告）日: 2021-04-30
• 發(fā)明（設(shè)計）人: 石海龍;張偉華;吳江旭;李凡;胡淼楓;曲志勇;張洪光;雍興輝;武躍峰
• 申請（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06Q30/02
• 代理公司: 中國貿(mào)促會專利商標(biāo)事務(wù)所有限公司 11038
• 代理人: 姜雍;劉劍波

1.一種確定人和物關(guān)聯(lián)度的方法，包括：

對視頻數(shù)據(jù)的各個圖像幀進(jìn)行圖像檢測，得到視頻數(shù)據(jù)的各個圖像幀中相關(guān)聯(lián)的人和物；

利用特征提取網(wǎng)絡(luò)模型對各個圖像幀中相關(guān)聯(lián)的人和物進(jìn)行特征提取，得到各個圖像幀中相關(guān)聯(lián)的人的特征矩陣和物的特征矩陣；利用特征變換網(wǎng)絡(luò)模型對各個圖像幀中相關(guān)聯(lián)的人的特征矩陣和物的特征矩陣進(jìn)行特征變換，得到各個圖像幀中相關(guān)聯(lián)的人的特征向量和物的特征向量；利用特征融合網(wǎng)絡(luò)模型對各個圖像幀中相關(guān)聯(lián)的人的特征向量、物的特征向量、人的位置信息、物的位置信息進(jìn)行融合，得到各個圖像幀中相關(guān)聯(lián)的人和物的融合特征；

利用長短期記憶網(wǎng)絡(luò)模型對各個圖像幀中相關(guān)聯(lián)的人和物的融合特征進(jìn)行量化，得到各個圖像幀中相關(guān)聯(lián)的人和物的量化結(jié)果；將各個圖像幀中相關(guān)聯(lián)的人和物的量化結(jié)果組成量化序列，并利用全連接網(wǎng)絡(luò)模型對所述量化序列進(jìn)行處理，得到視頻數(shù)據(jù)中相關(guān)聯(lián)的人和物的關(guān)聯(lián)度。

2.如權(quán)利要求1所述的方法，其中，所述利用對視頻數(shù)據(jù)的各個圖像幀進(jìn)行圖像檢測，得到視頻數(shù)據(jù)的各個圖像幀中相關(guān)聯(lián)的人和物包括：

對視頻數(shù)據(jù)的各個圖像幀進(jìn)行圖像檢測，得到各個圖像幀中的人和物；

確定各個圖像幀中人的位置信息和物的位置信息；

利用各個圖像幀中人的位置信息和物的位置信息，確定各個圖像幀中人和物的距離；

將各個圖像幀中距離小于第一閾值的人和物，作為各個圖像幀中相關(guān)聯(lián)的人和物。

3.如權(quán)利要求2所述的方法，其中，所述對視頻數(shù)據(jù)的各個圖像幀進(jìn)行圖像檢測，得到各個圖像幀中的人和物包括：

利用目標(biāo)檢測網(wǎng)絡(luò)模型對各個圖像幀進(jìn)行圖像檢測，得到各個圖像幀中的目標(biāo)；

利用分類神經(jīng)網(wǎng)絡(luò)模型對各個圖像幀中的目標(biāo)進(jìn)行分類，得到各個圖像幀中的人和物。

4.如權(quán)利要求1所述的方法，其中，所述特征提取網(wǎng)絡(luò)模型由RoiAlign層組成，所述特征變換網(wǎng)絡(luò)模型由全連接層組成，所述特征融合網(wǎng)絡(luò)模型由全連接層組成。

5.如權(quán)利要求1所述的方法，其中，所述長短期記憶網(wǎng)絡(luò)模型對各個圖像幀中相關(guān)聯(lián)的人和物的融合特征進(jìn)行量化，得到各個圖像幀中相關(guān)聯(lián)的人和物的量化結(jié)果包括：

將小于第二閾值的量化結(jié)果置零。

6.如權(quán)利要求5所述的方法，其中，所述長短期記憶網(wǎng)絡(luò)模型對各個圖像幀中相關(guān)聯(lián)的人和物的融合特征進(jìn)行量化，得到各個圖像幀中相關(guān)聯(lián)的人和物的量化結(jié)果還包括：

將不小于第二閾值的量化結(jié)果作為各個圖像幀中相關(guān)聯(lián)的人和物的量化結(jié)果。

7.一種確定人和物關(guān)聯(lián)度的裝置，包括：

圖像檢測模塊，被配置為：利用特征提取網(wǎng)絡(luò)模型對各個圖像幀中相關(guān)聯(lián)的人和物進(jìn)行特征提取，得到各個圖像幀中相關(guān)聯(lián)的人的特征矩陣和物的特征矩陣；利用特征變換網(wǎng)絡(luò)模型對各個圖像幀中相關(guān)聯(lián)的人的特征矩陣和物的特征矩陣進(jìn)行特征變換，得到各個圖像幀中相關(guān)聯(lián)的人的特征向量和物的特征向量；利用特征融合網(wǎng)絡(luò)模型對各個圖像幀中相關(guān)聯(lián)的人的特征向量、物的特征向量、人的位置信息、物的位置信息進(jìn)行融合，得到各個圖像幀中相關(guān)聯(lián)的人和物的融合特征；

特征融合模塊，被配置為對各個圖像幀中相關(guān)聯(lián)的人和物進(jìn)行特征提取，得到各個圖像幀中相關(guān)聯(lián)的人和物的融合特征；

關(guān)聯(lián)度量化模塊，被配置為：利用長短期記憶網(wǎng)絡(luò)模型對各個圖像幀中相關(guān)聯(lián)的人和物的融合特征進(jìn)行量化，得到各個圖像幀中相關(guān)聯(lián)的人和物的量化結(jié)果；將各個圖像幀中相關(guān)聯(lián)的人和物的量化結(jié)果組成量化序列，并全連接網(wǎng)絡(luò)模型對所述量化序列進(jìn)行處理，得到視頻數(shù)據(jù)中相關(guān)聯(lián)的人和物的關(guān)聯(lián)度。

8.如權(quán)利要求7所述的裝置，其中，所述圖像檢測模塊被配置為：

對視頻數(shù)據(jù)的各個圖像幀進(jìn)行圖像檢測，得到各個圖像幀中的人和物；

確定各個圖像幀中人的位置信息和物的位置信息；

利用各個圖像幀中人的位置信息和物的位置信息，確定各個圖像幀中人和物的距離；

將各個圖像幀中距離小于第一閾值的人和物，作為各個圖像幀中相關(guān)聯(lián)的人和物。