[發明專利]使用駕駛員注意力信息的語義分割

在審

• 申請號: 201911395215.7
• 申請日: 2019-12-30
• 公開（公告）號: CN111382670A
• 公開（公告）日: 2020-07-07
• 發明（設計）人: K.M.欽尼
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 張健;劉春元

1.一種用于創建經訓練的語義分割神經網絡模型和經訓練的注意力神經網絡模型以操作車輛的系統，所述系統包括：

外視相機；

面向駕駛員的相機；

一個或多個電子控制器，其被配置成：

從所述外視相機接收圖像；

從所述面向駕駛員的相機接收駕駛員眼部運動的圖像；

利用來自所述外視相機的圖像來校準所述駕駛員眼部運動的圖像，以創建校準圖像；

創建所述校準圖像的像素加權熱圖；

使用來自所述外視相機的圖像來創建經訓練的語義分割神經網絡模型；

使用所述像素加權熱圖和來自所述外視相機的圖像來創建經訓練的注意力神經網絡模型；以及

使用經訓練的語義分割神經網絡模型和經訓練的注意力神經網絡模型來操作車輛。

2.根據權利要求1所述的系統，其中，第一電子控制器從所述外視相機接收圖像；從所述面向駕駛員的相機接收所述駕駛員眼部運動的圖像；利用來自所述外視相機的圖像來校準所述駕駛員眼部運動的圖像，以創建校準圖像；以及創建所述校準圖像的像素加權熱圖，并且其中第二電子控制器接收所述校準圖像的像素加權熱圖和來自所述外視相機的圖像。

3.根據權利要求2所述的系統，其中，所述第二電子控制器被配置成：利用合并了所述像素加權熱圖的代價函數來創建經訓練的語義分割神經網絡模型和經訓練的注意力神經網絡模型。

4.根據權利要求3所述的系統，其中，所述第二電子控制器進一步被配置成：利用合并了所述像素加權熱圖的代價函數來訓練語義分割分類器。

5.根據權利要求2所述的系統，其中，所述第二電子控制器被配置成：從多個車輛接收所述像素加權熱圖。

6.根據權利要求1所述的系統，其中，所述外視相機是面向前方的相機。

7.根據權利要求1所述的系統，其中，所述一個或多個電子控制器被配置成：通過基于所述駕駛員眼部運動的圖像向來自所述外視相機的圖像中的每個像素指派權重，來利用來自所述外視相機的圖像對所述駕駛員眼部運動的圖像進行校準。

8.根據權利要求1所述的系統，其中，創建經訓練的注意力神經網絡模型包括：將所述像素加權熱圖用作分類標簽，并且將所述外視圖像用作輸入。

9.一種用于創建經訓練的語義分割神經網絡模型和經訓練的注意力神經網絡模型以操作車輛的方法，所述方法包括：

經由一個或多個電子控制器從外視相機接收圖像；

經由所述一個或多個電子控制器、從面向駕駛員的相機接收駕駛員眼部運動的圖像；

經由所述一個或多個電子控制器、利用來自所述外視相機的圖像來校準所述駕駛員眼部運動的圖像以創建校準圖像；

經由所述一個或多個電子控制器來創建所述校準圖像的像素加權熱圖；

經由所述一個或多個電子控制器、使用來自所述外視相機的圖像來創建經訓練的語義分割神經網絡模型；

經由所述一個或多個電子控制器、使用所述像素加權熱圖和來自所述外視相機的圖像來創建經訓練的注意力神經網絡模型；以及

經由所述一個或多個電子控制器、使用經訓練的語義分割神經網絡模型和經訓練的注意力神經網絡模型來操作車輛。

10.根據權利要求9所述的方法，其中

從所述外視相機接收圖像；

從所述面向駕駛員的相機接收駕駛員眼部運動的圖像；

利用來自所述外視相機的圖像來校準所述駕駛員眼部運動的圖像以創建校準圖像；以及

創建所述校準圖像的像素加權熱圖是經由第一電子控制器而執行的，并且其中所述方法進一步包括經由所述第一電子控制器來將所述校準圖像的像素加權熱圖提供給第二電子控制器。

11.根據權利要求10所述的方法，其中，經由所述一個或多個電子控制器、使用經訓練的語義分割神經網絡模型和經訓練的注意力神經網絡模型來操作車輛是經由所述第二電子控制器而執行的。