[發明專利]基于生成對抗模仿學習的自動泊車方法及系統

有效

• 申請號: 202010260031.6
• 申請日: 2020-04-03
• 公開（公告）號: CN111348034B
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 朱佳成;章宗長
• 申請（專利權）人: 南棲仙策（南京）科技有限公司
• 主分類號: B60W30/06
• 分類號: B60W30/06;G06N20/00
• 代理公司: 蘇州市中南偉業知識產權代理事務所(普通合伙) 32257
• 代理人: 殷海霞

1.一種基于生成對抗模仿學習的自動泊車方法，其特征在于，包括如下步驟：

步驟S1：獲取成功泊車的專家樣本數據以及泊車失敗的第一輪樣本數據；

步驟S2：使用策略學習單元中的生成器與環境進行交互，并采集學習過程中的第一輪樣本數據，對所述學習過程中的第一輪樣本數據進行采樣并處理提取出第一輪樣本特征數據，同時，將所述專家樣本數據進行采樣并處理提取出成功樣本特征數據以及對失敗的第一輪樣本數據進行采樣并處理提取出第一輪失敗樣本特征數據；

步驟S3：將第一輪樣本特征數據、成功樣本特征數據、第一輪失敗樣本特征數據分別輸入判別器中進行判斷，得到第一輪樣本判別概率、第一輪專家樣本判別概率以及第一輪失敗樣本判別概率，并依據對生成樣本判別的結果給與所述生成器獎賞；同時，第一次更新所述判別器；

步驟S4：所述生成器根據所述判別器給與的獎賞，完成第一次更新，再與環境交互產生第二輪樣本數據，并將產生的泊車失敗數據反饋至泊車失敗的第一輪樣本數據中，形成泊車失敗的第二輪樣本數據；

步驟S5：對所述與環境交互產生的第二輪樣本數據進行采樣并處理提取出第二輪樣本特征數據，對失敗的第二輪樣本數據進行采樣并處理提取出第二輪失敗樣本特征數據，將第二輪樣本特征數據、成功樣本特征數據、第二輪失敗樣本特征數據分別輸入第一次更新后的判別器中進行判斷，得到第二輪樣本判別概率、第二輪專家樣本判別概率以及第二輪失敗樣本判別概率，并依據對生成樣本判別的結果給與所述生成器獎賞；同時，第二次更新所述判別器；

步驟S6：所述生成器根據所述判別器給與的獎賞，完成下一次更新，再與環境交互產生下一個樣本數據，對下一個樣本數據進行處理，并對應更新所述判別器，直到所述生成器生成的數據使得所述判別器不能準確判斷為止。

2.根據權利要求1所述的基于生成對抗模仿學習的自動泊車方法，其特征在于：所述專家樣本數據存儲在專家樣本中，且從專家樣本中采樣得到。

3.根據權利要求1或2所述的基于生成對抗模仿學習的自動泊車方法，其特征在于：所述專家樣本數據包括泊車成功的狀態數據和動作數據，且所述泊車成功的狀態數據是以一系列的圖像進行存儲。

4.根據權利要求1所述的基于生成對抗模仿學習的自動泊車方法，其特征在于：所述泊車失敗的第一輪樣本數據包括專家演示過程中產生的泊車失敗的樣本數據，泊車失敗的樣本數據包括泊車失敗的狀態數據和動作數據，且所述泊車失敗的狀態數據是以一系列的圖像進行存儲。

5.根據權利要求1所述的基于生成對抗模仿學習的自動泊車方法，其特征在于：所述生成器是多層神經網絡，包括輸入層、卷積層、池化層、全連接層以及輸出層。

6.根據權利要求1所述的基于生成對抗模仿學習的自動泊車方法，其特征在于：所述判別器是二分類網絡，包括輸入層、卷積層、池化層、全連接層以及輸出層。

7.根據權利要求1或6所述的基于生成對抗模仿學習的自動泊車方法，其特征在于：更新所述判別器的方法為：根據判別器對第N輪樣本特征數據、成功樣本特征數據、第N輪失敗樣本特征數據的判斷，通過監督學習的方法更新所述判別器。

8.根據權利要求1所述的基于生成對抗模仿學習的自動泊車方法，其特征在于：所述生成器進行更新的方法為：所述生成器根據所述判別器給與的獎賞，通過優化網絡參數完成更新。

9.根據權利要求1所述的基于生成對抗模仿學習的自動泊車方法，其特征在于：所述步驟S6完成后，存儲最后學習到的策略。

10.一種基于生成對抗模仿學習的自動泊車系統，其特征在于，包括：

存儲單元，所述存儲單元包括專家樣本存儲單元以及失敗樣本存儲單元，其中所述專家樣本存儲單元用于存儲成功泊車的專家樣本數據，所述失敗樣本存儲單元用于存儲泊車失敗的樣本數據；

圖像處理單元，用于對高維圖像數據進行處理,并從泊車軌跡圖像中提取特征；

策略學習單元，基于生成對抗模仿學習方法學習與專家泊車行為相似的泊車策略，

其中使用策略學習單元中的生成器與環境進行交互，并采集學習過程中的第一輪樣本數據，對所述第一輪樣本數據進行采樣并處理提取出第一輪樣本特征數據，同時，將所述專家樣本數據進行采樣并處理提取出成功樣本特征數據以及對失敗的第一輪樣本數據進行采樣并處理提取出第一輪失敗樣本特征數據；將第一輪樣本特征數據、成功樣本特征數據、第一輪失敗樣本特征數據分別輸入判別器中進行判斷，得到第一輪樣本判別概率、第一輪專家樣本判別概率以及第一輪失敗樣本判別概率，并依據對生成樣本判別的結果給與所述生成器獎賞；同時，第一次更新所述判別器；所述生成器根據所述判別器給與的獎賞，完成第一次更新，再與環境交互產生第二輪樣本數據，并將產生的泊車失敗數據反饋至泊車失敗的第一輪樣本數據中，形成泊車失敗的第二輪樣本數據；對所述與環境交互產生的第二輪樣本數據進行采樣并處理提取出第二輪樣本特征數據，對失敗的第二輪樣本數據進行采樣并處理提取出第二輪失敗樣本特征數據，將第二輪樣本特征數據、成功樣本特征數據、第二輪失敗樣本特征數據分別輸入第一次更新后的判別器中進行判斷，得到第二輪樣本判別概率、第二輪專家樣本判別概率以及第二輪失敗樣本判別概率，并依據對生成樣本判別的結果給與所述生成器獎賞；同時，第二次更新所述判別器；所述生成器根據所述判別器給與的獎賞，完成下一次更新，再與環境交互產生下一個樣本數據，對下一個樣本數據進行處理，并對應更新所述判別器，直到所述生成器生成的數據使得所述判別器不能準確判斷為止。