[發(fā)明專利]基于數(shù)字人的車艙交互方法、裝置及車輛

在審

• 申請?zhí)枺?/td>: 202010583637.3
• 申請日: 2020-06-23
• 公開（公告）號: CN111736700A
• 公開（公告）日: 2020-10-02
• 發(fā)明（設(shè)計）人: 曾彬;周群艷;李軻;吳陽平;許亮;鄭世靜;伍俊
• 申請（專利權(quán)）人: 上海商湯臨港智能科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 靳玫

本公開實施例提供一種基于數(shù)字人的車艙交互方法、裝置及車輛，獲取車艙內(nèi)的活體的狀態(tài)信息，確定與所述狀態(tài)信息相匹配的動作信息，并根據(jù)所述動作信息生成并在所述車艙內(nèi)的顯示設(shè)備上顯示數(shù)字人執(zhí)行相應(yīng)動作的動畫。

技術(shù)領(lǐng)域

本公開涉及計算機(jī)視覺技術(shù)領(lǐng)域，尤其涉及基于數(shù)字人的車艙交互方法、裝置及車輛。

背景技術(shù)

目前，許多車輛上會安裝監(jiān)控產(chǎn)品，用來與車上的活體進(jìn)行交互。然而，傳統(tǒng)的監(jiān)控產(chǎn)品的交互方式比較生硬，缺少人性化。

發(fā)明內(nèi)容

本公開提供一種基于數(shù)字人的車艙交互方法、裝置及車輛。

根據(jù)本公開實施例的第一方面，提供一種基于數(shù)字人的車艙交互方法，所述方法包括：獲取車艙內(nèi)乘坐的活體的狀態(tài)信息；確定與所述狀態(tài)信息相匹配的動作信息；根據(jù)所述動作信息生成并在所述車艙內(nèi)的顯示設(shè)備上顯示數(shù)字人執(zhí)行相應(yīng)動作的動畫。

在一些實施例中，所述根據(jù)所述動作信息生成并在所述車艙內(nèi)的顯示設(shè)備上顯示數(shù)字人執(zhí)行相應(yīng)動作的動畫，包括：確定與所述狀態(tài)信息相匹配的語音信息；根據(jù)所述語音信息獲取對應(yīng)的語音，所述語音中包括時間戳；在播放所述語音的同時，根據(jù)所述動作信息生成并顯示所述數(shù)字人在所述時間戳對應(yīng)的時刻執(zhí)行所述動作的動畫。

在一些實施例中，所述動作中包括多個子動作，每個子動作與所述語音中的一個音素相匹配，所述時間戳包括每個音素的時間戳；所述根據(jù)所述動作信息生成并顯示所述數(shù)字人在所述時間戳對應(yīng)的時刻執(zhí)行所述動作的動畫，包括：根據(jù)每個音素的時間戳，確定與所述每個音素相匹配的子動作的執(zhí)行時間；根據(jù)所述動作信息，生成并顯示所述數(shù)字人在每個音素的時間戳執(zhí)行與所述每個音素相匹配的子動作的動畫。

在一些實施例中，所述根據(jù)所述動作信息生成并在所述車艙內(nèi)的顯示設(shè)備上顯示數(shù)字人執(zhí)行相應(yīng)動作的動畫，包括：從動作模型庫中調(diào)用與所述動作信息對應(yīng)的至少一幀數(shù)字人的動作切片；將所述至少一幀數(shù)字人的動作切片中的每幀數(shù)字人的動作切片依次顯示在所述顯示設(shè)備上。

在一些實施例中，所述活體的狀態(tài)信息包括所述活體的第一狀態(tài)信息，所述獲取車艙內(nèi)乘坐的活體的狀態(tài)信息，包括：采集車艙內(nèi)后排的監(jiān)控視頻；對所述監(jiān)控視頻進(jìn)行活體檢測并對檢測出的活體進(jìn)行狀態(tài)分析，得到所述活體的第一狀態(tài)信息。

在一些實施例中，所述監(jiān)控視頻由安裝在所述車艙內(nèi)的后視鏡上，且鏡頭朝向車艙后排的視頻采集裝置獲取。

在一些實施例中，所述第一狀態(tài)信息包括以下至少之一：所述活體的類別信息、身份信息、情緒信息、表情信息、肢體動作信息、座椅落座信息、安全帶佩戴信息；和/或，所述活體包括以下至少之一：駕駛員、副駕駛員、兒童、老人、寵物、后排乘車人。

在一些實施例中，所述活體的狀態(tài)信息包括所述活體的第一狀態(tài)信息和第二狀態(tài)信息，所述第一狀態(tài)信息基于車艙內(nèi)的監(jiān)控視頻獲取；所述獲取車艙內(nèi)的活體的狀態(tài)信息，還包括：獲取所述活體攜帶的智能設(shè)備發(fā)送的第二狀態(tài)信息；所述確定與所述狀態(tài)信息相匹配的動作信息，包括：確定與所述第一狀態(tài)信息和所述第二狀態(tài)信息均匹配的動作信息。

在一些實施例中，所述第二狀態(tài)信息包括以下至少任一：健康狀況信息和神經(jīng)系統(tǒng)狀態(tài)信息。

在一些實施例中，所述獲取車艙內(nèi)乘坐的活體的狀態(tài)信息，包括：將所述車艙內(nèi)的監(jiān)控視頻輸入預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)；根據(jù)所述神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果確定所述活體的狀態(tài)信息。

在一些實施例中，所述方法還包括：在根據(jù)所述動作信息生成并在所述車艙內(nèi)的顯示設(shè)備上顯示數(shù)字人執(zhí)行相應(yīng)動作的動畫之前，生成所述數(shù)字人的形象。

在一些實施例中，所述生成所述數(shù)字人的形象，包括：根據(jù)所述活體的狀態(tài)信息生成所述數(shù)字人的形象；或者根據(jù)預(yù)定的數(shù)字人的形象模板生成所述數(shù)字人的形象。