[發明專利]基于車載數字人的交互方法及裝置、存儲介質

在審

• 申請號: 202010581363.4
• 申請日: 2020-06-23
• 公開（公告）號: CN111736699A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 周群艷;曾彬;李軻;吳陽平;許亮;許親親;林楠;王玉生
• 申請（專利權）人: 上海商湯臨港智能科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 靳玫

本公開提供了一種基于車載數字人的交互方法及裝置、存儲介質，其中，該方法包括：獲取車內區域的視頻流；根據視頻流中的圖像，檢測上下車的對象的相對位置信息，所述相對位置信息包括：所述上下車的對象在所述圖像中的第一相對位置信息或者所述上下車的對象與車的第二相對位置信息；根據所述相對位置信息，生成并顯示所述車上設置的顯示設備中顯示的數字人執行相應轉向的動畫。

技術領域

本公開涉及增強現實領域，尤其涉及一種基于車載數字人的交互方法及裝置、存儲介質。

背景技術

目前，可以在車內放置機器人，在人員進入車內后，通過機器人與車內人員進行交互。但是機器人與車內人員的交互模式比較固定，缺少人性化。

發明內容

本公開提供了一種基于車載數字人的交互方法及裝置、存儲介質。

根據本公開實施例的第一方面，提供一種基于車載數字人的交互方法，所述方法包括：獲取車內區域的視頻流；根據視頻流中的圖像，檢測上下車的對象的相對位置信息，所述相對位置信息包括：所述上下車的對象在所述圖像中的第一相對位置信息或者所述上下車的對象與車的第二相對位置信息；根據所述相對位置信息，生成并顯示所述車上設置的顯示設備中顯示的數字人執行相應轉向的動畫。

在一些可選實施例中，所述根據視頻流中的圖像，檢測上下車的對象的相對位置信息，包括：在所述圖像對應的圖像坐標系中，確定所述上下車的對象的至少一個部位所在的圖像坐標區域；將所述圖像坐標區域作為所述上下車的對象在所述圖像中的所述第一相對位置信息。

在一些可選實施例中，所述根據視頻流中的圖像，檢測上下車的對象的相對位置信息，包括：在所述圖像對應的圖像坐標系中，確定所述上下車的對象至少一個部位所在的圖像坐標區域；根據圖像坐標和車內空間坐標之間的映射關系，確定所述上下車的對象至少一個部位所在的所述圖像坐標區域對應的車內空間坐標區域；將所述車內空間坐標區域作為所述上下車的對象與車的所述第二相對位置信息。

在一些可選實施例中，所述根據所述相對位置信息，生成并顯示所述車上設置的顯示設備中顯示的數字人執行相應轉向的動畫，包括：根據預先建立的圖像中位置信息和數字人的朝向之間的映射關系，確定與所述相對位置信息對應的目標朝向；生成并顯示所述車上設置的顯示設備中顯示的數字人轉向所述目標朝向的動畫。

在一些可選實施例中，所述根據所述相對位置信息，生成并顯示所述車上設置的顯示設備中顯示的數字人執行相應轉向的動畫包括：響應于檢測到的上下車的對象的相對位置信息為多個上下車的對象的多個相對位置信息，確定所述多個相對位置信息中的其中之一；根據確定的所述相對位置信息，生成并顯示所述車上設置的顯示設備中顯示的數字人執行相應轉向的動畫。

在一些可選實施例中，所述響應于檢測到的上下車的對象的相對位置信息為多個上下車的對象的多個相對位置信息，確定所述多個相對位置信息中的其中之一，包括：響應于檢測到的上下車的對象的相對位置信息為多個上下車的對象的多個相對位置信息，根據預先確定的不同位置信息的優先級順序，確定所述多個相對位置信息中優先級最高的相對位置信息。

在一些可選實施例中，所述不同位置信息的優先級順序包括以下至少之一：對應駕駛區域的位置信息的優先級，高于對應副駕駛區域的位置信息的優先級；對應前排區域的位置信息的優先級，高于對應后排區域的位置信息的優先級；對應專用座椅的位置信息的優先級，高于對應非專用座椅的位置信息的優先級。

在一些可選實施例中，所述根據視頻流中的圖像，檢測上下車的對象的相對位置信息之前，所述方法還包括：基于所述視頻流中具備時序關系的多幀圖像，確定對象的上下車意圖；根據所述對象的上下車意圖，確定所述上下車的對象。