[發明專利]用于確定無人車的駕駛行為的方法和裝置

在審

• 申請號: 201710790586.X
• 申請日: 2017-09-05
• 公開（公告）號: CN107563332A
• 公開（公告）日: 2018-01-09
• 發明（設計）人: 郁浩;閆泳杉;鄭超;唐坤;張云飛;姜雨
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司11204
• 代理人: 王達佐,馬曉亞

技術領域

本申請涉及計算機技術領域，具體涉及計算機網絡技術領域，尤其涉及用于確定無人車的駕駛行為的方法和裝置。

背景技術

在無人駕駛系統中，需要通過圖像傳感器采集無人駕駛汽車周圍的圖像，以便確定無人駕駛汽車所處的環境。

目前，在根據圖像傳感器的輸入確定無人車的駕駛行為時，通常采用預先構建的映射模型來實現。這里的映射模型，可以輸入單幀的靜態圖片作為映射模型看到的內容，可以輸出對應單幀的靜態圖片的方向盤角度(或者拐彎半徑的倒數)。

然而，目前的根據圖像傳感器的輸入確定無人車的駕駛行為的方案中，由于輸入為單幀靜態圖片，因此無法區分出周圍環境的靜態內容和動態內容，又由于單幀靜態圖片無法感知無人車自身的狀態，因此無法結合無人車自身的狀態進行有效的預測，同時，由于輸出為單個的方向盤角度，為對應單幀的靜態圖片所描述的環境的瞬時應激結果，無法實現路徑規劃等復雜的動作。

發明內容

本申請的目的在于提出一種改進的用于確定無人車的駕駛行為的方法和裝置，來解決以上背景技術部分提到的技術問題。

第一方面，本申請實施例提供了一種用于確定無人車的駕駛行為的方法，方法包括：獲取預定時間段之內附有時序信息的視頻幀序列；將視頻幀序列輸入端到端駕駛行為模型，得到從端到端駕駛行為模型輸出的駕駛行為指令序列。

在一些實施例中，將視頻幀序列輸入端到端駕駛行為模型，得到從端到端駕駛行為模型輸出的駕駛行為指令序列包括：駕駛行為模型采用RNN模型實現；或駕駛行為模型采用CNN模型和LSTM模型架構合成。

在一些實施例中，當駕駛行為模型采用CNN模型和LSTM模型架構合成時，將視頻幀序列輸入端到端駕駛行為模型，得到從端到端駕駛行為模型輸出的駕駛行為指令序列還包括：基于CNN模型，提取視頻幀序列中各個視頻幀的特征；根據時序信息，將各個視頻幀的特征輸入LSTM模型，得到LSTM模型輸出的上下文向量；采用LSTM模型，解碼上下文向量，得到駕駛行為指令序列。

在一些實施例中，當駕駛行為模型采用CNN模型和LSTM模型架構合成時，將視頻幀序列輸入端到端駕駛行為模型，得到從端到端駕駛行為模型輸出的駕駛行為指令序列還包括：基于CNN模型，提取視頻幀序列中各個視頻幀的特征；根據時序信息，將各個視頻幀的特征輸入第一LSTM模型，得到第一LSTM模型輸出的上下文向量；采用第二LSTM模型，解碼上下文向量，得到駕駛行為指令序列。

在一些實施例中，端到端駕駛行為模型基于采集車采集的實際駕駛行為序列與采集車的圖像傳感器采集得到的視頻幀序列訓練得到。

在一些實施例中，駕駛行為指令包括方向盤控制指令、油門指令和剎車指令。

在一些實施例中，輸出的駕駛行為指令序列為已添加約束項的駕駛行為指令。

第二方面，本申請實施例提供了一種用于確定無人車的駕駛行為的裝置，裝置包括：圖像序列獲取單元，用于獲取預定時間段之內附有時序信息的視頻幀序列；指令序列確定單元，用于將視頻幀序列輸入端到端駕駛行為模型，得到從端到端駕駛行為模型輸出的駕駛行為指令序列。

在一些實施例中，指令序列確定單元包括：RNN模型單元，用于將指令序列確定單元中的駕駛行為模型采用RNN模型實現；或架構合成模型單元，用于將指令序列確定單元中的駕駛行為模型采用CNN模型和LSTM模型架構合成。

在一些實施例中，當指令序列確定單元包括架構合成模型單元時，指令序列確定單元還包括：特征提取單元，用于基于CNN模型，提取視頻幀序列中各個視頻幀的特征；向量確定單元，用于根據時序信息，將各個視頻幀的特征輸入LSTM模型，得到LSTM模型輸出的上下文向量；向量解碼單元，用于采用LSTM模型，解碼上下文向量，得到駕駛行為指令序列。

在一些實施例中，當指令序列確定單元包括架構合成模型單元時，指令序列確定單元還包括：提取特征單元，用于基于CNN模型，提取視頻幀序列中各個視頻幀的特征；確定向量單元，用于根據時序信息，將各個視頻幀的特征輸入第一LSTM模型，得到第一LSTM模型輸出的上下文向量；以及解碼向量單元，用于采用第二LSTM模型，解碼上下文向量，得到駕駛行為指令序列。

在一些實施例中，指令序列確定單元中的端到端駕駛行為模型基于采集車采集的實際駕駛行為序列與采集車的圖像傳感器采集得到的視頻幀序列訓練得到。

在一些實施例中，指令序列確定單元中的駕駛行為指令包括方向盤控制指令、油門指令和剎車指令。