[發(fā)明專利]車輛避障方法和裝置

有效

• 申請?zhí)枺?/td>: 201710790602.5
• 申請日: 2017-09-05
• 公開（公告）號: CN107491072B
• 公開（公告）日: 2021-03-30
• 發(fā)明（設(shè)計）人: 鄭超;郁浩;閆泳杉;唐坤;張云飛;姜雨
• 申請（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

1.一種車輛避障方法，其特征在于，所述方法包括：

獲取車輛的車載傳感器采集的行駛數(shù)據(jù)，所述行駛數(shù)據(jù)包括行駛路徑的障礙物信息和所述車輛的傳感器數(shù)據(jù)；

基于所述行駛數(shù)據(jù)，利用避障策略模型確定避障操控指令，所述避障策略模型是基于歷史避障記錄、采用深度增強(qiáng)學(xué)習(xí)算法以端到端的方式訓(xùn)練得出的；

將所述避障操控指令發(fā)送至對應(yīng)的操控系統(tǒng)，以供所述操控系統(tǒng)執(zhí)行相應(yīng)的避障操作；

所述方法還包括：

基于歷史避障記錄、采用深度增強(qiáng)學(xué)習(xí)算法以端到端的方式訓(xùn)練得出所述避障策略模型的步驟，包括：獲取各所述歷史避障結(jié)果的歷史評估指數(shù)；基于所述歷史行駛數(shù)據(jù)、所述歷史評估指數(shù)和所述歷史操控數(shù)據(jù)進(jìn)行深度增強(qiáng)學(xué)習(xí)，以得出使避障結(jié)果最優(yōu)的避障策略模型；

所述基于所述歷史行駛數(shù)據(jù)、所述歷史評估指數(shù)和所述歷史操控數(shù)據(jù)進(jìn)行深度增強(qiáng)學(xué)習(xí)，以得出使避障結(jié)果最優(yōu)的所述避障策略模型，包括：

對每條所述歷史避障記錄，將所述歷史行駛數(shù)據(jù)作為狀態(tài)數(shù)據(jù)，所述歷史操控數(shù)據(jù)作為操作數(shù)據(jù)，所述歷史評估指數(shù)作為價值數(shù)據(jù)；

利用所述歷史避障記錄構(gòu)建學(xué)習(xí)軌跡，所述學(xué)習(xí)軌跡包括與各條所述歷史避障記錄一一對應(yīng)的多個軌跡點，每個軌跡點包括對應(yīng)的狀態(tài)數(shù)據(jù)、操作數(shù)據(jù)以及價值數(shù)據(jù)；

基于所述學(xué)習(xí)軌跡以及總價值數(shù)據(jù)計算總價值數(shù)據(jù)的期望關(guān)于策略參數(shù)的梯度，其中，所述策略參數(shù)用于將所述狀態(tài)數(shù)據(jù)映射至所述操作數(shù)據(jù)；

基于所述總價值數(shù)據(jù)的期望關(guān)于策略參數(shù)的梯度對所述策略參數(shù)進(jìn)行調(diào)整，生成所述避障策略模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述行駛數(shù)據(jù)，利用避障策略模型確定避障操控指令，包括：

將所述車載傳感器采集的行駛數(shù)據(jù)作為當(dāng)前的狀態(tài)數(shù)據(jù)輸入所述避障策略模型；

基于所述調(diào)整后的策略參數(shù)將所述當(dāng)前的狀態(tài)數(shù)據(jù)映射至當(dāng)前的操作數(shù)據(jù)，作為所述避障操控指令。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在將所述避障操控指令發(fā)送至對應(yīng)的操控系統(tǒng)之后，所述方法還包括：

獲取所述車輛的當(dāng)前避障結(jié)果的評估指數(shù)，將所述當(dāng)前避障結(jié)果的評價指數(shù)作為當(dāng)前價值數(shù)據(jù)；

基于所述當(dāng)前的狀態(tài)數(shù)據(jù)、所述當(dāng)前的操作數(shù)據(jù)以及所述當(dāng)前價值數(shù)據(jù)更新所述學(xué)習(xí)軌跡、所述總價值數(shù)據(jù)以及所述總價值數(shù)據(jù)的期望；

基于更新后的學(xué)習(xí)軌跡以及各價值數(shù)據(jù)之和計算更新后的總價值數(shù)據(jù)的期望關(guān)于策略參數(shù)的梯度；

基于所述更新后的總價值數(shù)據(jù)的期望關(guān)于策略參數(shù)的梯度對所述策略參數(shù)進(jìn)行調(diào)整。

4.一種車輛避障裝置，其特征在于，所述裝置包括：

獲取單元，配置用于獲取車輛的車載傳感器采集的行駛數(shù)據(jù)，所述行駛數(shù)據(jù)包括行駛路徑的障礙物信息和所述車輛的傳感器數(shù)據(jù)；

確定單元，配置用于基于所述行駛數(shù)據(jù)，利用避障策略模型確定避障操控指令，所述避障策略模型是基于歷史避障記錄、采用深度增強(qiáng)學(xué)習(xí)算法以端到端的方式訓(xùn)練得出的；

發(fā)送單元，配置用于將所述避障操控指令發(fā)送至對應(yīng)的操控系統(tǒng)，以供所述操控系統(tǒng)執(zhí)行相應(yīng)的避障操作；

所述裝置還包括：

訓(xùn)練單元，配置用于基于歷史避障記錄、采用深度增強(qiáng)學(xué)習(xí)算法以端到端的方式訓(xùn)練得出所述避障策略模型；

所述訓(xùn)練單元配置用于按照如下方式訓(xùn)練得出所述避障策略模型：

獲取各所述歷史避障結(jié)果的歷史評估指數(shù)；

基于所述歷史行駛數(shù)據(jù)、所述歷史評估指數(shù)和所述歷史操控數(shù)據(jù)進(jìn)行深度增強(qiáng)學(xué)習(xí)，以得出使避障結(jié)果最優(yōu)的避障策略模型；

所述訓(xùn)練單元進(jìn)一步配置用于按照如下方式進(jìn)行深度增強(qiáng)學(xué)習(xí)，以得出使避障結(jié)果最優(yōu)的所述避障策略模型：

對每條所述歷史避障記錄，將所述歷史行駛數(shù)據(jù)作為狀態(tài)數(shù)據(jù)，所述歷史操控數(shù)據(jù)作為操作數(shù)據(jù)，所述歷史評估指數(shù)作為價值數(shù)據(jù)；

利用所述歷史避障記錄構(gòu)建學(xué)習(xí)軌跡，所述學(xué)習(xí)軌跡包括與各條所述歷史避障記錄一一對應(yīng)的多個軌跡點，每個軌跡點包括對應(yīng)的狀態(tài)數(shù)據(jù)、操作數(shù)據(jù)以及價值數(shù)據(jù)；

基于所述學(xué)習(xí)軌跡以及總價值數(shù)據(jù)計算總價值數(shù)據(jù)的期望關(guān)于策略參數(shù)的梯度，其中，所述策略參數(shù)用于將所述狀態(tài)數(shù)據(jù)映射至所述操作數(shù)據(jù)；

基于所述總價值數(shù)據(jù)的期望關(guān)于策略參數(shù)的梯度對所述策略參數(shù)進(jìn)行調(diào)整，生成所述避障策略模型。