[發明專利]基于視覺時空特征的智能車預測控制方法

有效

• 申請號: 202010012552.X
• 申請日: 2020-01-07
• 公開（公告）號: CN111208818B
• 公開（公告）日: 2023-03-07
• 發明（設計）人: 吳天昊;程洪;黃瑞;詹惠琴;周潤發
• 申請（專利權）人: 電子科技大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 溫利平;陳靚靚

1.一種基于視覺時空特征的智能車預測控制方法，其特征在于，包括以下步驟：

S1：構建方向盤轉角預測網絡，包括空間特征提取網絡、N個時空特征提取模塊、時空特征圖融合預測模塊，其中：

空間特征提取網絡的輸入為智能車所檢測到的前方道路圖像，將智能車當前時刻t檢測到的前方道路圖像和前K幀前方道路圖像按時間先后依次輸入至空間特征提取網絡，將空間特征提取網絡的最后N層的特征圖分別輸出至對應的第n個時空特征提取模塊，記時刻t-k對應的倒數第n層的特征圖為F_t-k,n，其中k＝0,1,…,K，n＝1,2,…,N；

每個時空特征提取模塊分別包括第一卷積層、卷積長短時記憶網絡、第二卷積層和第三卷積層，其中：

第一卷積層的卷積核大小為1×1，對所輸入的特征圖F_t-k,n進行降維后輸出至長短時記憶網絡，記第一卷積層輸出的特征圖F′_t-k,n大小為W×H×L；

卷積長短時記憶網絡的輸入為一幅組合特征圖，該組合特征圖由特征圖F′_t-k,n和上一幀前方道路圖像所對應的由卷積長短時記憶網絡輸出的特征圖F″_t-k-1,n拼接得到，其大小為W×H×2L，當t-k-1＜0時，特征圖F″_t-k-1,n中每個像素值均為0，卷積長短時記憶網絡用于提取出組合特征圖中的時空特征，輸出特征圖F″_t-k-1,n；依次將K+1幅特征圖F′_t-k,n對應的組合特征圖輸入卷積長短時記憶網絡，將當前時刻t對應的特征圖F″_t,n輸出至第二卷積層；

第二卷積層的卷積核大小為3×3，對所輸入的特征圖F″_t,n進行卷積處理后輸出至第三卷積層；

第三卷積層的卷積核大小為3×3，對第二卷積層所輸出的特征圖進行卷積處理后，將所得到的特征圖輸出至特征圖融合預測模塊；

時空特征圖融合預測模塊將N個時空特征提取模塊輸出的不同尺度的特征圖進行融合，輸出當前時刻t及未來M個時刻的方向盤轉角預測值V_t+m，其中m＝0,1,…,M；時空特征圖融合預測模塊包括N個全連接層，將N個時空特征提取模塊得到的N個尺度的特征圖按照尺度從小到大排列，記第n個特征圖的長、寬和通道數分別為A_n、B_n、C_n，時空特征圖融合預測模塊對這N個特征圖的處理流程如下：

1)將第N個尺度的特征圖展開為特征向量F_N，該特征向量的維數為A_N×B_N×C_N，輸入第1層全連接層后輸出維數為A_N-1×B_N-1×C_N-1的特征向量f_N；

2)令全連接層序號n′＝1；

3)將特征向量f_N-n′+1和第N-n′個尺度的特征圖展開得到的特征向量F_N-n′相加，得到維數為A_N-n′×B_N-n′×C_N-n′的特征向量F_N′_-n′；

4)判斷是否n′＜N-1，如果是，進入步驟5)，否則進入步驟7)；

5)將特征向量F_N′_-n′輸入第n′+1層全連接層后輸出維數為A_N-n′-1×B_N-n′-1×C_N-n′-1的特征向量f_N-n′；

6)令n′＝n′+1，返回步驟3)；

7)將此時的特征向量F_N′_-n′輸入至第N層全連接層后輸出當前時刻t及未來M個時刻的方向盤轉角預測值V_t+m所構成的方向盤轉角預測值向量；

S2：獲取若干連續的智能車前方道路圖像及對應的方向盤轉角，將前方道路圖像作為方向盤轉角預測網絡的輸入，方向盤轉角作為期望輸出，對方向盤轉角預測網絡進行訓練；

S3：對于待預測時刻t′，將智能車在時刻t檢測到的前方道路圖像和前K幀前方道路圖像按時間先后依次輸入方向盤轉角預測網絡，將得到的M+1個方向盤轉角預測值作為對應時刻的初始預測值V_t′+m；將前Q個時刻的方向盤轉角最終預測值V_t″_-q，q＝1,2,…,Q，和M+1個初始預測值V_t′+m按照時間先后排列，得到方向盤轉角預測值序列，對該序列進行指數加權平均，將時刻t′+M經過指數加權平均得到的結果作為待預測時刻t′的方向盤轉角最終預測值。

2.根據權利要求1所述的智能車預測控制方法，其特征在于，所述空間特征提取網絡采用Nvidia-Pilot網絡的卷積神經網絡部分。