[發明專利]基于車載數字人的交互方法及裝置、存儲介質

在審

• 申請號: 202010581363.4
• 申請日: 2020-06-23
• 公開（公告）號: CN111736699A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 周群艷;曾彬;李軻;吳陽平;許亮;許親親;林楠;王玉生
• 申請（專利權）人: 上海商湯臨港智能科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 靳玫

1.一種基于車載數字人的交互方法，其特征在于，包括：

獲取車內區域的視頻流；

根據視頻流中的圖像，檢測上下車的對象的相對位置信息，所述相對位置信息包括：所述上下車的對象在所述圖像中的第一相對位置信息或者所述上下車的對象與車的第二相對位置信息；

根據所述相對位置信息，生成并顯示所述車上設置的顯示設備中顯示的數字人執行相應轉向的動畫。

2.根據權利要求1所述的方法，其特征在于，所述根據視頻流中的圖像，檢測上下車的對象的相對位置信息，包括：

在所述圖像對應的圖像坐標系中，確定所述上下車的對象的至少一個部位所在的圖像坐標區域；

將所述圖像坐標區域作為所述上下車的對象在所述圖像中的所述第一相對位置信息。

3.根據權利要求1所述的方法，其特征在于，所述根據視頻流中的圖像，檢測上下車的對象的相對位置信息，包括：

在所述圖像對應的圖像坐標系中，確定所述上下車的對象至少一個部位所在的圖像坐標區域；

根據圖像坐標和車內空間坐標之間的映射關系，確定所述上下車的對象至少一個部位所在的所述圖像坐標區域對應的車內空間坐標區域；

將所述車內空間坐標區域作為所述上下車的對象與車的所述第二相對位置信息。

4.根據權利要求1-3任一項所述的方法，其特征在于，所述根據所述相對位置信息，生成并顯示所述車上設置的顯示設備中顯示的數字人執行相應轉向的動畫，包括：

根據預先建立的圖像中位置信息和數字人的朝向之間的映射關系，確定與所述相對位置信息對應的目標朝向；

生成并顯示所述車上設置的顯示設備中顯示的數字人轉向所述目標朝向的動畫。

5.根據權利要求1-4任一項所述的方法，其特征在于，所述根據所述相對位置信息，生成并顯示所述車上設置的顯示設備中顯示的數字人執行相應轉向的動畫，包括：

響應于檢測到的上下車的對象的相對位置信息為多個上下車的對象的多個相對位置信息，確定所述多個相對位置信息中的其中之一；

根據確定的所述相對位置信息，生成并顯示所述車上設置的顯示設備中顯示的數字人執行相應轉向的動畫。

6.根據權利要求5所述的方法，其特征在于，所述響應于檢測到的上下車的對象的相對位置信息為多個上下車的對象的多個相對位置信息，確定所述多個相對位置信息中的其中之一，包括：

響應于檢測到的上下車的對象的相對位置信息為多個上下車的對象的多個相對位置信息，根據預先確定的不同位置信息的優先級順序，確定所述多個相對位置信息中優先級最高的相對位置信息。

7.根據權利要求6所述的方法，其特征在于，所述不同位置信息的優先級順序包括以下至少之一：

對應駕駛區域的位置信息的優先級，高于對應副駕駛區域的位置信息的優先級；

對應前排區域的位置信息的優先級，高于對應后排區域的位置信息的優先級；

對應專用座椅的位置信息的優先級，高于對應非專用座椅的位置信息的優先級。

8.根據權利要求1-7任一項所述的方法，其特征在于，所述根據視頻流中的圖像，檢測上下車的對象的相對位置信息之前，所述方法還包括：

基于所述視頻流中具備時序關系的多幀圖像，確定對象的上下車意圖；

根據所述對象的上下車意圖，確定所述上下車的對象。

9.根據權利要求8所述的方法，其特征在于，所述基于所述視頻流中具備時序關系的多幀圖像，確定對象的上下車意圖，包括以下至少之一：

響應于在所述多幀圖像中與車門距離小于預設距離的范圍內檢測到對象的至少一個部位，確定對象的下車意圖；

響應于在所述多幀圖像中與車門距離小于預設距離的范圍內未檢測到對象的任何部位且所述車門處于開啟狀態，確定對象的上車意圖。