[發明專利]輔助自動駕駛的自動駕駛輔助眼鏡

有效

• 申請號: 202010010283.3
• 申請日: 2020-01-06
• 公開（公告）號: CN111506057B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 金桂賢;金镕重;金鶴京;南云鉉;夫碩焄;成明哲;申東洙;呂東勛;柳宇宙;李明春;李炯樹;張泰雄;鄭景中;諸泓模;趙浩辰
• 申請（專利權）人: 斯特拉德視覺公司
• 主分類號: G05D1/02
• 分類號: G05D1/02;G02B27/01
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 楊佳婧

1.一種通過駕駛員佩戴的輔助眼鏡來提供駕駛安全信息的方法，包括：

步驟a：在獲取到從安裝在汽車的駕駛員所佩戴的所述輔助眼鏡上的至少一個相機拍攝到的與所述駕駛員的視角對應的至少一個視覺依賴性駕駛圖像、來自安裝在所述輔助眼鏡上的一個以上傳感器的加速度信息以及陀螺儀信息的情況下，駕駛安全信息分析裝置執行以下過程：i)將所述視覺依賴性駕駛圖像輸入到卷積網絡，從而使所述卷積網絡對所述視覺依賴性駕駛圖像施加卷積運算以生成至少一個特征圖；將所述特征圖分別輸入到檢測網絡、分割網絡及識別網絡，從而使所述檢測網絡利用所述特征圖來檢測位于所述視覺依賴性駕駛圖像上的至少一個客體，使所述分割網絡檢測所述視覺依賴性駕駛圖像上的一個以上車道，并且使所述識別網絡檢測與所述視覺依賴性駕駛圖像對應的駕駛環境；以及ii)將所述加速度信息及所述陀螺儀信息輸入到循環網絡，從而使所述循環網絡生成與所述加速度信息和所述陀螺儀信息對應的所述駕駛員的狀態信息；以及

步驟b：所述駕駛安全信息分析裝置執行以下過程：i)以由所述檢測網絡檢測到的所述客體為參考，將所述汽車與所述客體之間的預測碰撞可能性信息通過所述輔助眼鏡的輸出單元告知給所述駕駛員；以由所述分割網絡檢測到的所述車道為參考，將所述汽車的車道偏離信息通過所述輸出單元告知給所述駕駛員；和將由所述識別網絡檢測到的所述駕駛環境通過所述輸出單元告知給所述駕駛員；以及ii)以由所述循環網絡檢測到的所述駕駛員的所述狀態信息為參考，將駕駛安全警告通過所述輸出單元提供給所述駕駛員，

所述駕駛安全信息分析裝置將所述加速度信息和所述陀螺儀信息輸入到所述循環網絡，從而使所述循環網絡通過一個以上長短期記憶網絡LSTM在預設時段對所述加速度信息和所述陀螺儀信息的一個以上變化狀態施加循環運算，來生成與所述駕駛員的行為模式對應的所述駕駛員的所述狀態信息。

2.根據權利要求1所述的方法，其中，

所述駕駛安全信息分析裝置將所述特征圖輸入到所述檢測網絡，從而使所述檢測網絡執行以下過程來檢測位于所述視覺依賴性駕駛圖像上的所述客體：i)通過區域建議網絡來生成與所述特征圖上的估計所述客體所在的一個以上區域對應的建議盒；ii)通過池化層對所述特征圖上的與所述建議盒分別對應的一個以上區域分別施加池化運算來生成至少一個客體特征向量；以及iii)通過客體檢測全連接FC層對所述客體特征向量施加客體檢測FC運算來生成與所述建議盒對應的多個客體信息。

3.根據權利要求1所述的方法，其中，

所述駕駛安全信息分析裝置將所述特征圖輸入到所述分割網絡，從而使所述分割網絡執行如下過程：通過至少一個反卷積層對所述特征圖施加反卷積運算來生成至少一個反卷積特征圖；以及將所述反卷積特征圖輸入到至少一個車道檢測FC層，從而使所述車道檢測FC層對所述反卷積特征圖施加車道檢測FC運算來檢測位于所述視覺依賴性駕駛圖像上的所述車道。

4.根據權利要求1所述的方法，其中，

所述駕駛安全信息分析裝置將所述特征圖輸入到所述識別網絡，從而使所述識別網絡執行以下過程來檢測與所述視覺依賴性駕駛圖像對應的所述駕駛環境：i)通過全局池化層對所述特征圖施加全局池化運算來生成至少一個全局特征向量；ii)通過識別FC層對所述全局特征向量施加識別FC運算來生成駕駛環境信息。

5.根據權利要求1所述的方法，其中，

所述駕駛安全信息分析裝置響應于從安裝在所述輔助眼鏡上的至少一個照度傳感器中獲取到的照度信息，調節所述輔助眼鏡的透鏡透明度。

6.根據權利要求1所述的方法，其中，

所述輸出單元包括：i)至少一個揚聲器，在所述駕駛員佩戴所述輔助眼鏡的情況下，所述至少一個揚聲器設置在與所述駕駛員的至少一側耳朵對應的位置上；以及ii)至少一個虛擬視網膜顯示屏VRD，在所述駕駛員佩戴所述輔助眼鏡的情況下，所述至少一個虛擬視網膜顯示屏設置在與所述駕駛員的至少一側眼睛對應的位置上。