[發(fā)明專利]用于確定無人車的駕駛行為的方法和裝置

在審

• 申請?zhí)枺?/td>: 201710790586.X
• 申請日: 2017-09-05
• 公開（公告）號: CN107563332A
• 公開（公告）日: 2018-01-09
• 發(fā)明（設計）人: 郁浩;閆泳杉;鄭超;唐坤;張云飛;姜雨
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司11204
• 代理人: 王達佐,馬曉亞

1.一種用于確定無人車的駕駛行為的方法，其特征在于，所述方法包括：

獲取預定時間段之內附有時序信息的視頻幀序列；

將所述視頻幀序列輸入端到端駕駛行為模型，得到從所述端到端駕駛行為模型輸出的駕駛行為指令序列。

2.根據權利要求1所述的方法，其特征在于，所述將所述視頻幀序列輸入端到端駕駛行為模型，得到從所述端到端駕駛行為模型輸出的駕駛行為指令序列包括：

所述駕駛行為模型采用RNN模型實現(xiàn)；或

所述駕駛行為模型采用CNN模型和LSTM模型架構合成。

3.根據權利要求2所述的方法，其特征在于，當所述駕駛行為模型采用CNN模型和LSTM模型架構合成時，所述將所述視頻幀序列輸入端到端駕駛行為模型，得到從所述端到端駕駛行為模型輸出的駕駛行為指令序列還包括：

基于CNN模型，提取所述視頻幀序列中各個視頻幀的特征；

根據所述時序信息，將所述各個視頻幀的特征輸入LSTM模型，得到所述LSTM模型輸出的上下文向量；

采用所述LSTM模型，解碼所述上下文向量，得到駕駛行為指令序列。

4.根據權利要求2所述的方法，其特征在于，當所述駕駛行為模型采用CNN模型和LSTM模型架構合成時，所述將所述視頻幀序列輸入端到端駕駛行為模型，得到從所述端到端駕駛行為模型輸出的駕駛行為指令序列還包括：

基于CNN模型，提取所述視頻幀序列中各個視頻幀的特征；

根據所述時序信息，將所述各個視頻幀的特征輸入第一LSTM模型，得到所述第一LSTM模型輸出的上下文向量；

采用第二LSTM模型，解碼所述上下文向量，得到駕駛行為指令序列。

5.根據權利要求1所述的方法，其特征在于，所述端到端駕駛行為模型基于采集車采集的實際駕駛行為序列與采集車的圖像傳感器采集得到的視頻幀序列訓練得到。

6.根據權利要求1所述的方法，其特征在于，所述駕駛行為指令包括方向盤控制指令、油門指令和剎車指令。

7.根據權利要求1所述的方法，其特征在于，所述輸出的駕駛行為指令序列為已添加約束項的駕駛行為指令。

8.一種用于確定無人車的駕駛行為的裝置，其特征在于，所述裝置包括：

圖像序列獲取單元，用于獲取預定時間段之內附有時序信息的視頻幀序列；

指令序列確定單元，用于將所述視頻幀序列輸入端到端駕駛行為模型，得到從所述端到端駕駛行為模型輸出的駕駛行為指令序列。

9.根據權利要求8所述的裝置，其特征在于，所述指令序列確定單元包括：

RNN模型單元，用于將所述指令序列確定單元中的所述駕駛行為模型采用RNN模型實現(xiàn)；或

架構合成模型單元，用于將所述指令序列確定單元中的所述駕駛行為模型采用CNN模型和LSTM模型架構合成。

10.根據權利要求9所述的裝置，其特征在于，當所述指令序列確定單元包括架構合成模型單元時，所述指令序列確定單元還包括：

特征提取單元，用于基于CNN模型，提取所述視頻幀序列中各個視頻幀的特征；

向量確定單元，用于根據所述時序信息，將所述各個視頻幀的特征輸入LSTM模型，得到所述LSTM模型輸出的上下文向量；以及

向量解碼單元，用于采用所述LSTM模型，解碼所述上下文向量，得到駕駛行為指令序列。

11.根據權利要求9所述的裝置，其特征在于，當所述指令序列確定單元包括架構合成模型單元時，所述指令序列確定單元還包括：

提取特征單元，用于基于CNN模型，提取所述視頻幀序列中各個視頻幀的特征；

確定向量單元，用于根據所述時序信息，將所述各個視頻幀的特征輸入第一LSTM模型，得到所述第一LSTM模型輸出的上下文向量；以及

解碼向量單元，用于采用第二LSTM模型，解碼所述上下文向量，得到駕駛行為指令序列。

12.根據權利要求8所述的裝置，其特征在于，所述指令序列確定單元中的所述端到端駕駛行為模型基于采集車采集的實際駕駛行為序列與采集車的圖像傳感器采集得到的視頻幀序列訓練得到。

13.根據權利要求8所述的裝置，其特征在于，所述指令序列確定單元中的所述駕駛行為指令包括方向盤控制指令、油門指令和剎車指令。