[發(fā)明專利]一種社交關(guān)系識別方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011617638.1
• 申請日: 2020-12-30
• 公開（公告）號: CN112633224A
• 公開（公告）日: 2021-04-09
• 發(fā)明（設(shè)計）人: 余意;邢玲
• 申請（專利權(quán)）人: 深圳云天勵飛技術(shù)股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳驛航知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44605
• 代理人: 楊倫

1.一種社交關(guān)系識別方法，其特征在于，包括以下步驟：

獲取待識別圖像，所述待識別圖像包括第一目標(biāo)人員與第二目標(biāo)人員；

對所述待識別圖像進(jìn)行關(guān)鍵點(diǎn)信息提取，提取所述第一目標(biāo)人員的第一人體關(guān)鍵點(diǎn)信息，提取所述第二目標(biāo)人員的第二人體關(guān)鍵點(diǎn)信息，所述第一人體關(guān)鍵點(diǎn)信息與所述第二人體關(guān)鍵點(diǎn)信息為人體關(guān)節(jié)關(guān)鍵點(diǎn)信息；

根據(jù)所述第一人體關(guān)鍵點(diǎn)信息與所述第二人體關(guān)鍵點(diǎn)信息，分別構(gòu)建所述第一目標(biāo)人員與所述第二目標(biāo)人員之間的關(guān)鍵點(diǎn)圖數(shù)據(jù)和骨架圖數(shù)據(jù)；

通過預(yù)設(shè)的第一圖卷積模型，提取所述關(guān)鍵點(diǎn)圖數(shù)據(jù)的關(guān)鍵點(diǎn)交互特征，以及通過預(yù)設(shè)的第二圖卷積模型，提取所述骨架圖數(shù)據(jù)的骨架交互特征；

將所述關(guān)鍵點(diǎn)交互特征與所述骨架交互特征進(jìn)行融合并分類，得到所述第一目標(biāo)人員與所述第二目標(biāo)人員的社交關(guān)系。

2.如權(quán)利要求1所述的一種社交關(guān)系識別方法，其特征在于，所述根據(jù)所述第一人體關(guān)鍵點(diǎn)信息與所述第二人體關(guān)鍵點(diǎn)信息，構(gòu)建所述第一目標(biāo)人員與所述第二目標(biāo)人員之間的關(guān)鍵點(diǎn)圖數(shù)據(jù)，包括：

計算第一人體關(guān)鍵點(diǎn)信息與第二人體關(guān)鍵點(diǎn)信息的特征矩陣，將所述特征矩陣作為所述第一目標(biāo)人員與所述第二目標(biāo)人員之間的所述關(guān)鍵點(diǎn)圖數(shù)據(jù)。

3.如權(quán)利要求2所述的一種社交關(guān)系識別方法，其特征在于，所述根據(jù)所述第一人體關(guān)鍵點(diǎn)信息與所述第二人體關(guān)鍵點(diǎn)信息，構(gòu)建所述第一目標(biāo)人員與所述第二目標(biāo)人員之間的骨架圖數(shù)據(jù)，包括：

根據(jù)所述第一人體關(guān)鍵點(diǎn)信息與所述第二人體關(guān)鍵點(diǎn)信息，確定所述第一目標(biāo)人員的骨架以及所述第二目標(biāo)人員的骨架；

將所述第一目標(biāo)人員的骨架兩端的中心點(diǎn)作為第一骨架點(diǎn)，得到所述第一目標(biāo)人員的第一骨架點(diǎn)信息，以及將所述第二目標(biāo)人員的骨架兩端的中心點(diǎn)作為第二骨架點(diǎn)，得到所述第二目標(biāo)人員的第二骨架點(diǎn)信息；

計算所述第一人體骨架點(diǎn)信息與所述第二人體骨架點(diǎn)信息的特征矩陣，將所述特征矩陣作為所述第一目標(biāo)人員與所述第二目標(biāo)人員之間的所述骨架圖數(shù)據(jù)。

4.如權(quán)利要求3所述的一種社交關(guān)系識別方法，其特征在于，預(yù)設(shè)的所述第一圖卷積模型與所述第二圖卷積模型基于自適應(yīng)圖卷積網(wǎng)絡(luò)構(gòu)建得到，所述自適應(yīng)圖卷積網(wǎng)絡(luò)包括全局鄰接矩陣、個體鄰接矩陣以及參數(shù)矩陣。

5.如權(quán)利要求4所述的一種社交關(guān)系識別方法，其特征在于，所述參數(shù)矩陣包括第一參數(shù)矩陣與第二參數(shù)矩陣，所述通過預(yù)設(shè)的第一圖卷積模型，提取所述關(guān)鍵點(diǎn)圖數(shù)據(jù)的關(guān)鍵點(diǎn)交互特征，以及通過預(yù)設(shè)的第二圖卷積模型，提取所述骨架圖數(shù)據(jù)的骨架交互特征，包括：

對所述關(guān)鍵點(diǎn)圖數(shù)據(jù)進(jìn)行卷積操作，使得所述關(guān)鍵點(diǎn)圖數(shù)據(jù)中的多個關(guān)鍵點(diǎn)的特征映射到同一個第一特征空間；

在所述第一特征空間中，遍歷計算任意兩個關(guān)鍵點(diǎn)的相似度，并對計算得到的所有關(guān)鍵點(diǎn)的相似度進(jìn)行歸一化后得到第一個體鄰接矩陣；

根據(jù)所述關(guān)鍵點(diǎn)圖數(shù)據(jù)、第一全局鄰接矩陣、所述第一個體鄰接矩陣以及所述第一參數(shù)矩陣，計算得到所述關(guān)鍵點(diǎn)圖數(shù)據(jù)的關(guān)鍵點(diǎn)交互特征；

所述通過預(yù)設(shè)的第二圖卷積模型，提取所述骨架圖數(shù)據(jù)的骨架交互特征，包括：

對所述骨架圖數(shù)據(jù)進(jìn)行卷積操作，使得不同骨架點(diǎn)的特征映射到同一個第二特征空間；

在所述第二特征空間中，遍歷計算任意兩個骨架點(diǎn)的相似度，對計算得到的所有骨架點(diǎn)的相似度進(jìn)行歸一化后得到第二個體鄰接矩陣；

根據(jù)所述骨架圖數(shù)據(jù)、第二全局鄰接矩陣、所述第二個體鄰接矩陣以及所述第二參數(shù)矩陣，計算得到所述骨架圖數(shù)據(jù)的骨架交互特征。