[發(fā)明專利]一種基于多模態(tài)的數(shù)字人信息處理用人機(jī)交互系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202210009476.6
• 申請(qǐng)日: 2022-01-05
• 公開(kāi)（公告）號(hào): CN114356092B
• 公開(kāi)（公告）日: 2022-09-09
• 發(fā)明（設(shè)計(jì)）人: 劉浩;劉威;葉志太
• 申請(qǐng)（專利權(quán)）人: 花臉數(shù)字技術(shù)（杭州）有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06F3/04812;G06F11/22
• 代理公司: 合肥錦輝利標(biāo)專利代理事務(wù)所(普通合伙) 34210
• 代理人: 陳鑠

1.一種基于多模態(tài)的數(shù)字人信息處理用人機(jī)交互系統(tǒng)，其特征在于，包括人機(jī)交互平臺(tái)，人機(jī)交互平臺(tái)內(nèi)設(shè)置有服務(wù)器，服務(wù)器通訊連接有多模態(tài)場(chǎng)景選擇單元、協(xié)同分析單元、感知分析單元以及實(shí)時(shí)決策分析單元；

人機(jī)交互平臺(tái)用于對(duì)工業(yè)領(lǐng)域內(nèi)操作人員的運(yùn)行場(chǎng)景進(jìn)行分析，服務(wù)器生成多模態(tài)場(chǎng)景選擇信號(hào)并將多模態(tài)場(chǎng)景選擇信號(hào)發(fā)送至多模態(tài)場(chǎng)景選擇單元，通過(guò)多模態(tài)場(chǎng)景選擇單元對(duì)工業(yè)領(lǐng)域內(nèi)的運(yùn)行場(chǎng)景進(jìn)行選擇；

服務(wù)器生成協(xié)同分析信號(hào)和感知分析信號(hào)并將協(xié)同分析信號(hào)和感知分析信號(hào)分別發(fā)送至協(xié)同分析單元和感知分析單元；協(xié)同分析單元接收到協(xié)同分析信號(hào)后，將對(duì)應(yīng)多模態(tài)分析場(chǎng)景內(nèi)數(shù)字人運(yùn)行過(guò)程中產(chǎn)生的協(xié)同動(dòng)作進(jìn)行分析；感知分析單元接收到感知分析信號(hào)后，對(duì)多模態(tài)場(chǎng)景內(nèi)數(shù)字人的感知進(jìn)行分析；

服務(wù)器生成實(shí)時(shí)決策分析信號(hào)并將實(shí)時(shí)決策分析信號(hào)發(fā)送至實(shí)時(shí)決策分析單元，通過(guò)實(shí)時(shí)決策分析單元對(duì)多模態(tài)場(chǎng)景內(nèi)工序?yàn)槿斯げ僮骱蜋C(jī)械操作進(jìn)行決策分析；

多模態(tài)場(chǎng)景選擇單元的多模態(tài)場(chǎng)景選擇過(guò)程如下：

采集到工業(yè)領(lǐng)域內(nèi)運(yùn)行場(chǎng)景，并將對(duì)應(yīng)運(yùn)行場(chǎng)景設(shè)置標(biāo)號(hào)i，i為大于1的自然數(shù)，采集到實(shí)際操作人員在運(yùn)行場(chǎng)景內(nèi)運(yùn)行出現(xiàn)錯(cuò)誤頻率以及運(yùn)行內(nèi)出現(xiàn)錯(cuò)誤對(duì)應(yīng)的消耗成本，并將實(shí)際操作人員在運(yùn)行場(chǎng)景內(nèi)運(yùn)行出現(xiàn)錯(cuò)誤頻率以及運(yùn)行內(nèi)出現(xiàn)錯(cuò)誤對(duì)應(yīng)的消耗成本分別標(biāo)記為PLi和CBi；采集到運(yùn)行場(chǎng)景在實(shí)際操作人員的運(yùn)行下合格完成的頻率，并將運(yùn)行場(chǎng)景在實(shí)際操作人員的運(yùn)行下合格完成的頻率標(biāo)記為HPi；

通過(guò)公式獲取到工業(yè)領(lǐng)域內(nèi)運(yùn)行場(chǎng)景的分析選擇系數(shù)Xi，其中，a1、a2以及a3均為預(yù)設(shè)比例系數(shù)，且a1＞a2＞a3＞0；將運(yùn)行場(chǎng)景的分析選擇系數(shù)Xi與分析選擇系數(shù)閾值進(jìn)行比較：

若運(yùn)行場(chǎng)景的分析選擇系數(shù)Xi超過(guò)分析選擇系數(shù)閾值，則將對(duì)應(yīng)運(yùn)行場(chǎng)景標(biāo)記為多模態(tài)分析場(chǎng)景，并將多模態(tài)分析場(chǎng)景發(fā)送至服務(wù)器；若運(yùn)行場(chǎng)景的分析選擇系數(shù)Xi未超過(guò)分析選擇系數(shù)閾值，則將對(duì)應(yīng)運(yùn)行場(chǎng)景標(biāo)記為非多模態(tài)分析場(chǎng)景，并將非多模態(tài)分析場(chǎng)景發(fā)送至服務(wù)器。

2.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)的數(shù)字人信息處理用人機(jī)交互系統(tǒng)，其特征在于，協(xié)同分析單元的協(xié)同分析過(guò)程如下：

對(duì)多模態(tài)分析場(chǎng)景內(nèi)數(shù)字人的運(yùn)行協(xié)同動(dòng)作進(jìn)行分析；將多模態(tài)分析場(chǎng)景內(nèi)數(shù)字人的工作姿態(tài)保持時(shí)長(zhǎng)與對(duì)應(yīng)工序步驟的操作時(shí)長(zhǎng)進(jìn)行采集，若工作姿態(tài)保持時(shí)長(zhǎng)高于對(duì)應(yīng)工序步驟的操作時(shí)長(zhǎng)，則判定對(duì)應(yīng)工序步驟的運(yùn)行合格，并將對(duì)應(yīng)工序步驟標(biāo)記為合格分析步驟，反之則判定對(duì)應(yīng)工序的運(yùn)行不合格，并將對(duì)應(yīng)工序步驟表示為不合格分析步驟；

將各個(gè)合格分析步驟對(duì)應(yīng)數(shù)字人肢體動(dòng)作的活動(dòng)角度進(jìn)行采集，并采集到合格分析步驟對(duì)應(yīng)的活動(dòng)角度最大值和活動(dòng)角度最小值，通過(guò)合格分析步驟對(duì)應(yīng)的活動(dòng)角度最大值和活動(dòng)角度最小值獲取到合格分析步驟對(duì)應(yīng)工序的協(xié)同角度區(qū)間；并將協(xié)同角度區(qū)間內(nèi)各個(gè)活動(dòng)角度對(duì)應(yīng)的工作姿態(tài)進(jìn)行采集，并將對(duì)應(yīng)工作姿態(tài)標(biāo)記為合格工作姿態(tài)；將各個(gè)不合格分析步驟對(duì)應(yīng)數(shù)字人肢體動(dòng)作的活動(dòng)角度進(jìn)行采集，并將采集的不合格分析步驟對(duì)應(yīng)活動(dòng)角度標(biāo)記為不合格協(xié)同角度；并將不合格協(xié)同角度對(duì)應(yīng)的工作姿態(tài)進(jìn)行采集，并將對(duì)應(yīng)工作姿態(tài)標(biāo)記為不合格工作姿態(tài)；

將協(xié)同角度區(qū)間和合格工作姿態(tài)以及不合格協(xié)同角度和不合格工作姿態(tài)發(fā)送至服務(wù)器。