[發(fā)明專利]一種社交關(guān)系識別方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011617638.1
• 申請日: 2020-12-30
• 公開（公告）號: CN112633224A
• 公開（公告）日: 2021-04-09
• 發(fā)明（設(shè)計）人: 余意;邢玲
• 申請（專利權(quán)）人: 深圳云天勵飛技術(shù)股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳驛航知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44605
• 代理人: 楊倫

本發(fā)明涉及圖像關(guān)系識別技術(shù)領(lǐng)域，提供一種社交關(guān)系識別方法、裝置、電子設(shè)備及存儲介質(zhì)，方法包括：獲取待識別圖像；提取所述待識別圖像第一目標(biāo)人員的第一人體關(guān)鍵點(diǎn)信息，所述第二目標(biāo)人員的第二人體關(guān)鍵點(diǎn)信息；根據(jù)所述第一人體關(guān)鍵點(diǎn)信息與所述第二人體關(guān)鍵點(diǎn)信息，分別構(gòu)建所述第一目標(biāo)人員與所述第二目標(biāo)人員之間的關(guān)鍵點(diǎn)圖數(shù)據(jù)和骨架圖數(shù)據(jù)；通過預(yù)設(shè)的第一圖卷積模型，提取所述關(guān)鍵點(diǎn)圖數(shù)據(jù)的關(guān)鍵點(diǎn)交互特征，通過預(yù)設(shè)的第二圖卷積模型，提取所述骨架圖數(shù)據(jù)的骨架交互特征；將所述關(guān)鍵點(diǎn)交互特征與所述骨架交互特征進(jìn)行融合并分類，得到所述第一目標(biāo)人員與所述第二目標(biāo)人員的社交關(guān)系。本申請能夠提高社交關(guān)系識別的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像關(guān)系識別技術(shù)領(lǐng)域，尤其涉及一種社交關(guān)系識別方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

社交關(guān)系(Social relation，SR)是人類社會的基礎(chǔ)，所以掌握整個社會的社交關(guān)系無論對于國家治理還是科學(xué)研究而言都是極為重要的。現(xiàn)有的方法主要是基于一些獨(dú)立的特征模塊來進(jìn)行分類，比如臉部表情、人與物體的關(guān)系、肢體關(guān)系和背景信息等等，這些技術(shù)是與數(shù)據(jù)集掛鉤的。

在PIPA和PISC數(shù)據(jù)集中，背景信息常用于判斷關(guān)系類型，但是在監(jiān)控場景下，從數(shù)據(jù)上來看背景信息反而不是很重要，重要的是肢體之間的交互。現(xiàn)有技術(shù)考慮到通過肢體數(shù)據(jù)進(jìn)行表示，將兩個人的關(guān)鍵點(diǎn)作為圖數(shù)據(jù)來考慮，并應(yīng)用圖卷積模型來對關(guān)鍵點(diǎn)圖數(shù)據(jù)來進(jìn)行建模。但是，這對關(guān)鍵點(diǎn)進(jìn)行建模，對于關(guān)系類型的表達(dá)卻不是最優(yōu)圖。且關(guān)鍵點(diǎn)作為圖數(shù)據(jù)是固定的，所以每一層的圖卷積都是用的同一個圖數(shù)據(jù)，不利于每一層學(xué)習(xí)不同的語意信息，對社會關(guān)系識別時準(zhǔn)確率影響較大。可見，現(xiàn)有技術(shù)中，存在社會關(guān)系識別準(zhǔn)確率低的問題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種社交關(guān)系識別方法，能夠提高社會關(guān)系識別的準(zhǔn)確率。

第一方面，本發(fā)明實(shí)施例提供一種社交關(guān)系識別方法，包括：

獲取待識別圖像，所述待識別圖像包括第一目標(biāo)人員與第二目標(biāo)人員；

對所述待識別圖像進(jìn)行關(guān)鍵點(diǎn)信息提取，提取所述第一目標(biāo)人員的第一人體關(guān)鍵點(diǎn)信息，提取所述第二目標(biāo)人員的第二人體關(guān)鍵點(diǎn)信息，所述第一人體關(guān)鍵點(diǎn)信息與所述第二人體關(guān)鍵點(diǎn)信息為人體關(guān)節(jié)關(guān)鍵點(diǎn)信息；

根據(jù)所述第一人體關(guān)鍵點(diǎn)信息與所述第二人體關(guān)鍵點(diǎn)信息，分別構(gòu)建所述第一目標(biāo)人員與所述第二目標(biāo)人員之間的關(guān)鍵點(diǎn)圖數(shù)據(jù)和骨架圖數(shù)據(jù)；

通過預(yù)設(shè)的第一圖卷積模型，提取所述關(guān)鍵點(diǎn)圖數(shù)據(jù)的關(guān)鍵點(diǎn)交互特征，以及通過預(yù)設(shè)的第二圖卷積模型，提取所述骨架圖數(shù)據(jù)的骨架交互特征；

將所述關(guān)鍵點(diǎn)交互特征與所述骨架交互特征進(jìn)行融合并分類，得到所述第一目標(biāo)人員與所述第二目標(biāo)人員的社交關(guān)系。

第二方面，本發(fā)明實(shí)施例提供一種社交關(guān)系識別裝置，包括：

獲取模塊，用于獲取待識別圖像，所述待識別圖像包括第一目標(biāo)人員與第二目標(biāo)人員；

關(guān)鍵點(diǎn)提取模塊，用于對所述待識別圖像進(jìn)行關(guān)鍵點(diǎn)信息提取，提取所述第一目標(biāo)人員的第一人體關(guān)鍵點(diǎn)信息，提取所述第二目標(biāo)人員的第二人體關(guān)鍵點(diǎn)信息，所述第一人體關(guān)鍵點(diǎn)信息與所述第二人體關(guān)鍵點(diǎn)信息為人體關(guān)節(jié)關(guān)鍵點(diǎn)信息；

構(gòu)建模塊，用于根據(jù)所述第一人體關(guān)鍵點(diǎn)信息與所述第二人體關(guān)鍵點(diǎn)信息，分別構(gòu)建所述第一目標(biāo)人員與所述第二目標(biāo)人員之間的關(guān)鍵點(diǎn)圖數(shù)據(jù)和骨架圖數(shù)據(jù)；

特征提取模塊，用于通過預(yù)設(shè)的第一圖卷積模型，提取所述關(guān)鍵點(diǎn)圖數(shù)據(jù)的關(guān)鍵點(diǎn)交互特征，以及通過預(yù)設(shè)的第二圖卷積模型，提取所述骨架圖數(shù)據(jù)的骨架交互特征；

融合與分類模塊，用于將所述關(guān)鍵點(diǎn)交互特征與所述骨架交互特征進(jìn)行融合并分類，得到所述第一目標(biāo)人員與所述第二目標(biāo)人員的社交關(guān)系。