[發(fā)明專利]多目標(biāo)數(shù)字人生成方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211690657.6
• 申請(qǐng)日: 2022-12-27
• 公開（公告）號(hào): CN115952831A
• 公開（公告）日: 2023-04-11
• 發(fā)明（設(shè)計(jì)）人: 鄒博;徐嘉;謝朝濤;龍艷紅
• 申請(qǐng)（專利權(quán)）人: 深圳云天勵(lì)飛技術(shù)股份有限公司
• 主分類號(hào): G06N3/0464
• 分類號(hào): G06N3/0464;G06N3/08;G06V20/52;G06V40/16
• 代理公司: 深圳驛航知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44605
• 代理人: 楊倫

本發(fā)明實(shí)施例提供一種多目標(biāo)數(shù)字人生成方法，獲取多個(gè)目標(biāo)人員的檔案數(shù)據(jù)以及多個(gè)所述目標(biāo)人員之間的關(guān)系數(shù)據(jù)；根據(jù)所述檔案數(shù)據(jù)，生成得到所述目標(biāo)人員對(duì)應(yīng)的初始數(shù)字人，一個(gè)目標(biāo)人員對(duì)應(yīng)一個(gè)初始數(shù)字人；根據(jù)所述關(guān)系數(shù)據(jù)，確定多個(gè)所述初始數(shù)字人之間的交互信息，并根據(jù)所述交互信息對(duì)所述初始數(shù)字人進(jìn)行調(diào)整，得到多個(gè)所述目標(biāo)人員對(duì)應(yīng)的最終數(shù)字人。通過多個(gè)目標(biāo)人員的檔案數(shù)據(jù)生成對(duì)應(yīng)的多個(gè)初始數(shù)字人，利用多個(gè)目標(biāo)人員之間的關(guān)系數(shù)據(jù)來確定多個(gè)初始數(shù)字人之間的交互關(guān)系，并通過這種交互關(guān)系來對(duì)多個(gè)初始數(shù)字人進(jìn)行調(diào)整，使得調(diào)整后得到的最終數(shù)字人能夠適應(yīng)于多目標(biāo)交互任務(wù)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)字人領(lǐng)域，尤其涉及一種多目標(biāo)數(shù)字人生成方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

在現(xiàn)有的數(shù)字人交互過程中，需要先通過一個(gè)目標(biāo)用戶的數(shù)據(jù)來生成與目標(biāo)用戶對(duì)應(yīng)的一個(gè)數(shù)字人，再輸入目標(biāo)用戶的交互數(shù)據(jù)作為數(shù)字人對(duì)應(yīng)的變量，以使數(shù)字人根據(jù)用戶的交互數(shù)據(jù)生成對(duì)應(yīng)的交互內(nèi)容來與目標(biāo)用戶進(jìn)行交互。每個(gè)數(shù)字人都是獨(dú)立于一個(gè)目標(biāo)用戶的，僅關(guān)注于數(shù)字人與目標(biāo)用戶一對(duì)一的交互場景，然而，在一些多人場景中，可能存在多個(gè)目標(biāo)用戶同行，由于現(xiàn)有數(shù)字人是一對(duì)一進(jìn)行交互的，無法應(yīng)對(duì)多個(gè)目標(biāo)用戶的交互任務(wù)。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種多目標(biāo)數(shù)字人生成方法，旨在解決現(xiàn)有數(shù)字人是一對(duì)一進(jìn)行交互的，無法應(yīng)對(duì)多個(gè)目標(biāo)用戶的交互任務(wù)的問題。通過多個(gè)目標(biāo)人員的檔案數(shù)據(jù)生成對(duì)應(yīng)的多個(gè)初始數(shù)字人，利用多個(gè)目標(biāo)人員之間的關(guān)系數(shù)據(jù)來確定多個(gè)初始數(shù)字人之間的交互關(guān)系，并通過這種交互關(guān)系來對(duì)多個(gè)初始數(shù)字人進(jìn)行調(diào)整，使得調(diào)整后得到的最終數(shù)字人能夠適應(yīng)于多目標(biāo)交互任務(wù)。

第一方面，本發(fā)明實(shí)施例提供一種多目標(biāo)數(shù)字人生成方法，所述方法包括：

獲取多個(gè)目標(biāo)人員的檔案數(shù)據(jù)以及多個(gè)所述目標(biāo)人員之間的關(guān)系數(shù)據(jù)；

根據(jù)所述檔案數(shù)據(jù)，生成得到所述目標(biāo)人員對(duì)應(yīng)的初始數(shù)字人，一個(gè)目標(biāo)人員對(duì)應(yīng)一個(gè)初始數(shù)字人；

根據(jù)所述關(guān)系數(shù)據(jù)，確定多個(gè)所述初始數(shù)字人之間的交互信息，并根據(jù)所述交互信息對(duì)所述初始數(shù)字人進(jìn)行調(diào)整，得到多個(gè)所述目標(biāo)人員對(duì)應(yīng)的最終數(shù)字人。

可選的，在所述獲取多個(gè)目標(biāo)人員的檔案數(shù)據(jù)以及多個(gè)所述目標(biāo)人員之間的關(guān)系數(shù)據(jù)之前，所述方法還包括：

獲取監(jiān)控圖像；

若所述監(jiān)控圖像中存在多個(gè)人員時(shí)，確定多個(gè)所述人員是否為同行人員；

若確定出多個(gè)所述人員為同行人員，則將多個(gè)所述人員確定為多個(gè)目標(biāo)人員。

可選的，所述獲取多個(gè)目標(biāo)人員的檔案數(shù)據(jù)以及多個(gè)所述目標(biāo)人員之間的關(guān)系數(shù)據(jù)，包括：

對(duì)所述目標(biāo)人員進(jìn)行人臉識(shí)別，得到所述目標(biāo)人員的身份信息；

根據(jù)所述目標(biāo)人員的身份信息，匹配所述目標(biāo)人員的檔案數(shù)據(jù)；

根據(jù)各個(gè)所述目標(biāo)人員的身份信息，確定多個(gè)所述目標(biāo)人員之間的關(guān)系數(shù)據(jù)。

可選的，所述根據(jù)所述檔案數(shù)據(jù)，生成得到所述目標(biāo)人員對(duì)應(yīng)的初始數(shù)字人，包括：

通過訓(xùn)練好的數(shù)字人模型對(duì)所述檔案數(shù)據(jù)進(jìn)行處理，得到所述目標(biāo)人員對(duì)應(yīng)的初始數(shù)字人，所述數(shù)字人模型的輸入為所述檔案數(shù)據(jù)，所述數(shù)字人模型的輸出為所述初始數(shù)字人。

可選的，所述根據(jù)所述關(guān)系數(shù)據(jù)，確定多個(gè)所述初始數(shù)字人之間的交互信息，包括：

根據(jù)所述關(guān)系數(shù)據(jù)，確定多個(gè)所述目標(biāo)人員對(duì)應(yīng)的節(jié)點(diǎn)圖，所述節(jié)點(diǎn)圖中每個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)所述目標(biāo)人員，兩上節(jié)點(diǎn)之間的連接邊為對(duì)應(yīng)兩個(gè)所述目標(biāo)人員之間的關(guān)系值；

根據(jù)所述節(jié)點(diǎn)圖，確定多個(gè)所述初始數(shù)字人之間的交互信息。