[發明專利]一種車載人機交互方法及車載設備

在審

• 申請號: 201910409259.4
• 申請日: 2019-05-16
• 公開（公告）號: CN111552368A
• 公開（公告）日: 2020-08-18
• 發明（設計）人: 毛文濤
• 申請（專利權）人: 毛文濤
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 深圳余梅專利代理事務所(特殊普通合伙) 44519
• 代理人: 井杰;高真輝

1.一種車載人機交互方法，其特征在于，包括：

獲取預設區域內包含手部信息的目標圖像；

根據預先訓練完成的手勢識別模型對所述目標圖像中的手部信息進行手部關節點識別，獲得所述手部各關節點相對于預設原點的三維空間坐標；

根據所述三維空間坐標生成手勢標識信息；

根據預先存儲的手勢標識信息與車輛控制指令之間的映射關系，確定當前手勢標識信息對應的車輛控制指令并輸出。

2.如權利要求1所述的車載人機交互方法，其特征在于，所述預先訓練完成的手勢識別模型為神經網絡模型，所述根據預先訓練完成的手勢識別模型對所述手部信息進行手部關節點識別之前，包括：

獲取第一預設數量的包含手部信息的圖片；

將所述包含手部信息的圖片分別輸入至所述神經網絡模型進行模型訓練，獲得模型輸出的各手部信息包含的手部各關節點相對于預設原點的預測三維空間坐標；

分別將各手部信息的所述預測三維空間坐標與預先存儲的各手部信息包含的各關節點相對于預設原點的標準三維空間坐標進行比較；

若各手部信息包含的各關節點的預測三維空間坐標分別與各手部信息對應包含的各關節點的標準三維空間坐標相比，重合的概率大于預設的第一概率閾值，則確定所述神經網絡模型為訓練完成的手勢識別模型，停止對所述手勢識別模型的訓練。

3.如權利要求2所述的車載人機交互方法，其特征在于，在所述分別將各手部信息的所述預測三維空間坐標與預先存儲的所有手部信息包含的各關節點相對于預設原點的標準三維空間坐標進行比較的步驟之后，包括：

若所有手部信息包含的各關節點的預測三維空間坐標分別與各手部信息對應包含的各關節點的標準三維空間坐標相比，重合的概率小于或者等于預設的第一概率閾值，則增加第二預設數量的包含手部信息的圖片，并返回執行將所有所述包含手部信息的圖片輸入至所述神經網絡模型進行模型訓練，獲得模型輸出的所有手部信息包含的手部各關節點相對于預設原點的預測三維空間坐標的步驟。

4.如權利要求2所述的車載人機交互方法，其特征在于，所述預設原點為預先確定的采集所述目標圖像的攝像頭的三維空間坐標；

在所述獲取第一預設數量的包含手部信息的圖片與所述將所有所述包含手部信息的圖片分別輸入至所述神經網絡模型進行模型訓練，獲得模型輸出的所有手部信息包含的手部各關節點相對于預設原點的預測三維空間坐標之間，包括：

對所述第一預設數量的包含手部信息的圖片進行手部各關節點相對于所述預設原點的三維空間坐標的標注，得到所述各手部信息包含的各關節點相對于預設原點的標準三維空間坐標。

5.如權利要求1-4任一所述的車載人機交互方法，其特征在于，還包括：

獲取駕駛員的面部圖像；

根據預先訓練完成的人臉狀態檢測模型對所述面部圖像進行狀態檢測，獲得駕駛員駕駛過程中的面部狀態；

基于所述面部狀態判定駕駛員的駕駛行為，若判定駕駛員處于危險駕駛行為，則發出相應的警告信息。

6.一種車載人機交互設備，其特征在于，包括：

第一獲取模塊，用于獲取預設區域內包含手部信息的目標圖像；

第一獲得模塊，用于根據預先訓練完成的手勢識別模型對所述目標圖像中的手部信息進行手部關節點識別，獲得所述手部各關節點相對于預設原點的三維空間坐標；

生成模塊，用于根據蘇搜三維空間坐標生成手勢標識信息；

第一確定模塊，用于根據預先存儲的手勢標識信息與車輛控制指令之間的映射關系，確定當前手勢標識信息對應的車輛控制指令并輸出。

7.如權利要求6所述的車載人機交互設備，其特征在于，所述設備還包括：

比較模塊，分別將各手部信息的所述預測三維空間坐標與預先存儲的各手部信息包含的各關節點相對于預設原點的標準三維空間坐標進行比較；

第二確定模塊，用于在若各手部信息包含的各關節點的預測三維空間坐標分別與各手部信息對應包含的各關節點的標準三維空間坐標相比，重合的概率大于預設的第一概率閾值，則確定所述神經網絡模型為訓練完成的手勢識別模型，停止對所述手勢識別模型的訓練。