[發明專利]一種獲取多維隨機分布及強化控制器的方法和裝置

有效

• 申請號: 201711091328.9
• 申請日: 2017-11-08
• 公開（公告）號: CN109752952B
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 陳晨;錢俊
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G05B13/04
• 分類號: G05B13/04;G05D1/02
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種獲取多維隨機分布的方法，所述多維隨機分布用于強化控制器模型，其特征在于，包括：

獲取歷史駕駛數據，所述歷史駕駛數據包括執行目標基本動作的底層控制指令；

處理所述歷史駕駛數據得到多個控制指令樣本，所述多個控制指令樣本中每一控制指令樣本為由具有時序的底層控制指令構成的用于執行所述目標基本動作的控制指令序列；

根據所述多個控制指令樣本得到平均控制指令，所述平均控制指令用于指示由控制值處于平均水平且具有時序的底層控制指令構成的用于執行所述目標基本動作的控制指令序列；

根據所述平均控制指令和所述多個控制指令樣本得到多維隨機分布，所述多維隨機分布為圍繞所述平均控制指令在一定范圍內擾動的期望函數分布。

2.如權利要求1所述方法，其特征在在于，在所述根據所述多個控制指令樣本得到平均控制指令之前，還包括：

統計所述多個控制指令樣本中每一控制指令樣本的控制指令序列的指令長度，所述指令長度用于指示具有時序的底層控制指令的數量；

根據所述多個控制指令樣本中每一控制指令樣本的控制指令序列的指令長度計算平均指令長度，所述平均指令長度用于指示根據所述多個控制指令樣本中每一控制指令樣本中的控制指令序列的指令長度得到的平均值、中位數或最大值；

將所述多個控制指令樣本中每一控制指令樣本的控制指令序列的指令長度處理成所述平均指令長度；

所述根據所述多個控制指令樣本得到平均控制指令包括:

根據指令長度處理后的多個控制指令樣本得到所述平均控制指令，所述平均控制指令的指令長度為所述平均指令長度；

所述根據所述平均控制指令和所述多個控制指令樣本得到多維隨機分布包括：

根據所述平均控制指令和指令長度處理后的多個控制指令樣本得到所述多維隨機分布。

3.如權利要求1或2所述的方法，其特征在于，所述多個控制指令樣本中每一控制指令樣本的控制指令序列包含至少一個控制指令串，所述至少一個控制指令串中每一控制指令串由具有時序的同一類型的底層控制指令構成，所述至少一個控制指令串中每個控制指令串的底層控制指令的數量相等且時序對應。

4.如權利要求3所述的方法，其特征在于，所述指令長度用于指示所述至少一個控制指令串中任一控制指令串的底層控制指令的數量。

5.如權利要求1-2任選一所述的方法，其特征在于，所述底層控制指令包括加速度參數、轉角參數、剎車參數中一個或多個。

6.如權利要求1-2任選一所述的方法，其特征在于，還包括強化學習；

所述強化學習包括：

根據所述多維隨機分布生成第一控制指令；

獲取當前路況狀態數據并將所述當前路況數據輸入所述控制器模型生成第二控制指令；

確定所述第一控制指令或所述第二控制指令為實際控制指令，所述實際控制指令用于控制目標車輛執行所述目標基本動作；

根據所述實際控制指令控制所述目標車輛執行所述目標基本動作；

根據所述目標車輛執行所述目標基本動作后的路況狀況數據得到回報參數值；

根據所述回報參數值修正所述控制器模型的控制參數值。

7.如權利要求6所述的方法，其特征在于，所述確定所述第一控制指令或所述第二控制指令為實際控制指令包括：

根據概率隨機確定所述第一控制指令或所述第二控制指令為所述實際控制指令，其中，以第一概率確定所述第一控制指令為所述實際控制指令，以第二概率確定所述第二控制指令為所述實際控制指令。

8.如權利要求7所述的方法，其特征在于，重復執行所述強化學習，其中，所述第一概率隨著重復次數增加越來越小，所述第二概率隨著重復次數增加越來越大。

9.如權利要求7或8所述的方法，其特征在于，所述第一概率與所述第二概率的和等于1。