[發明專利]用于切換駕駛模式的RNN方法和設備

有效

• 申請號: 202010071988.6
• 申請日: 2020-01-21
• 公開（公告）號: CN111507163B
• 公開（公告）日: 2023-10-17
• 發明（設計）人: 金桂賢;金镕重;金鶴京;南云鉉;夫碩熏;成明哲;申東洙;呂東勛;柳宇宙;李明春;李炯樹;張泰雄;鄭景中;諸泓模;趙浩辰
• 申請（專利權）人: 斯特拉德視覺公司
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/776;G06V10/774;G06V10/82;G06N3/047;G06N3/0442;G06N3/0464;G06N3/084
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 薛琦;王衛彬

1.一種循環神經網絡的學習方法，所述循環神經網絡用于檢查自動駕駛安全性以切換自動駕駛車輛的駕駛模式，包括以下步驟：

(a)如果獲取了分別對應于學習用自動駕駛車輛的學習用前攝像機和學習用后攝像機的序列圖像的第(1_1)訓練圖像至第(1_n)訓練圖像和第(2_1)訓練圖像至第(2_n)訓練圖像，則學習裝置將由第(1_k)訓練圖像和第(2_k)訓練圖像構成的每對分別輸入至與所述每對的各個序列相對應的第1卷積神經網絡至第n卷積神經網絡，其中k為整數、序列從n進行至1，指令第k卷積神經網絡，將所述第(1_k)訓練圖像和所述第(2_k)訓練圖像之間建立級聯之后，通過對所述第(1_k)訓練圖像和所述第(2_k)訓練圖像的級聯結果適用卷積運算，從而生成學習用第1特征映射至學習用第n特征映射；

(b)所述學習裝置執行如下處理：(i)將所述學習用第1特征映射至所述學習用第n特征映射分別輸入至對應于前向循環神經網絡的每個序列的第(1_1)長短期記憶模型至第(1_n)長短期記憶模型，分別輸入至對應于反向循環神經網絡的每個序列的第(2_1)長短期記憶模型至第(2_n)長短期記憶模型，(i-1)指令第(1_k)長短期記憶模型，(i-1-a)同時參考由第{1_(k+1)}長短期記憶模型輸出的學習用第{1_(k+1)}更新的特征映射、以及由第k卷積神經網絡輸出的學習用第k特征映射，從而生成作為更新所述學習用第k特征映射的結果的學習用第(1_k)更新的特征映射，(i-1-b)生成學習用第(1_1)特征向量至學習用第(1_n)特征向量，這是對所述學習用第(1_k)更新的特征映射適用全連接操作的結果，(i-2)指令第(2_k)長短期記憶模型，(i-2-a)通過同時參考由第{2_(k-1)}長短期記憶模型輸出的學習用第{2_(k-1)}更新的特征映射、以及由第k卷積神經網絡輸出的學習用第k特征映射，從而生成作為更新所述學習用第k特征映射的結果的學習用第(2_k)更新的特征映射，(i-2-b)生成學習用第(2_1)特征向量至學習用第(2_n)特征向量，這是對所述學習用第(2_k)更新的特征映射適用全連接操作的結果；以及(ii)將所述學習用第(1_1)特征向量至所述學習用第(1_n)特征向量、以及所述學習用第(2_1)特征向量至所述學習用第(2_n)特征向量輸入至注意力層，指令所述注意力層，參考所述學習用第(1_1)特征向量至所述學習用第(1_n)特征向量、以及所述學習用第(2_1)特征向量至所述學習用第(2_n)特征向量，從而生成在第(1_1)訓練圖像至第(1_n)訓練圖像、以及所述第(2_1)訓練圖像至所述第(2_n)訓練圖像的每個序列中的學習用自動駕駛模式值；以及

(c)所述學習裝置執行如下處理：指令損失層，參照所述學習用自動駕駛模式值及與其對應的真實值，計算一個或多個損失值；以及學習所述第(1_1)長短期記憶模型至所述第(1_n)長短期記憶模型、以及所述第(2_1)長短期記憶模型至所述第(2_n)長短期記憶模型，致使通過利用所述損失值的反向傳播將所述損失值最小化。

2.根據權利要求1所述的方法，其特征在于，在所述步驟(b)中，在所述學習裝置中，指令所述注意力層，(i)將學習用第(1_k)特征向量和學習用第(2_k)特征向量級聯，從而生成學習用第1級聯特征向量至學習用第n級聯特征向量；(ii)對所述學習用第1級聯特征向量至所述學習用第n級聯特征向量進行加權平均，從而生成所述學習用自動駕駛模式值。

3.根據權利要求1所述的方法，其特征在于，在所述步驟(a)中，在所述學習裝置中，指令所述第1卷積神經網絡至所述第n卷積神經網絡，(i)分別將所述第(1_k)訓練圖像和所述第(2_k)訓練圖像級聯，從而生成第k級聯訓練圖像，(ii)對所述第k級聯訓練圖像適用卷積運算，從而生成所述學習用第1特征映射至所述學習用第n特征映射。