[發明專利]一種基于多模態數據的船舶駕駛行為預測方法及系統

在審

• 申請號: 202010111317.8
• 申請日: 2020-02-24
• 公開（公告）號: CN111353636A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 張寶晨;史世武;張鷺;耿雄飛;文捷
• 申請（專利權）人: 交通運輸部水運科學研究所
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06N3/04;G06N3/08
• 代理公司: 北京方安思達知識產權代理有限公司 11472
• 代理人: 陳琳琳;李彪

本發明公開了一種基于多模態數據的船舶駕駛行為預測方法及系統，所述方法包括：實時采集智能船舶的多模態數據，所述多模態數據包括：圖像數據、3D點云數據以及船舶感知的數據；將多模態數據輸入預先訓練好的自主駕駛模型，輸出預測的駕駛行為。本發明的方法使用機器學習建立了給定數據輸入情況下的自主駕駛模型，從而避免了對環境狀態，船舶狀態的人工提取，避免了人工建立控制模型知識庫的偏差。

技術領域

本發明涉及深度學習技術及智能船舶駕駛領域，具體涉及一種基于多模態數據的船舶駕駛行為預測方法及系統。

背景技術

傳統的由環境數據、船舶狀態到駕駛行為的映射模型，主要是基于歷史累計數據所學習的專家知識庫，建立起來的基于環境狀態和實時狀態，到控制決策的基于狀態的駕駛模型，如圖1所示。這類輔助決策模型需要基于環境數據和船舶數據，首先提取環境狀態和船舶的狀態，然后再根據模型或經驗，建立各種狀態下的合理駕駛控制方法，復雜且不易實現。

發明內容

本發明的目的在于克服上述技術缺陷，提出了一種基于多模態數據的船舶駕駛行為預測方法，該方法建立了智能船舶在各個狀態下，所可能采取的駕駛行為，即船舶的感知狀態到可行駕駛行為的預測模型，從而指導在船舶出現各種實時狀態情況下，做出可行的駕駛行為預測。

為實現上述目的，本發明提出了一種基于多模態數據的船舶駕駛行為預測方法，所述方法包括：

實時采集智能船舶的多模態數據，包括：圖像數據、3D點云數據以及船舶感知的數據；

將多模態數據輸入預先訓練好的自主駕駛模型，輸出預測的駕駛行為。

作為上述方法的一種改進，所述方法還包括：綜合分析駕駛行為的步驟：

基于環境實時感知數據和船舶自身狀態的感知數據，獲取駕駛行為的狀態，包括駕駛的平滑性，是否暴力駕駛或者是否疲勞駕駛。

作為上述方法的一種改進，所述自主駕駛模型采用CNN和LSTM組合的深度神經網絡模型，其輸入為圖像數據、3D點云數據以及船舶感知的數據；輸出為預測的駕駛行為；所述船舶感知的數據包括速度、加速度、角速度、天氣、水文和船舶姿態；所述駕駛行為包括：轉向動作、加速動作和減速動作。

作為上述方法的一種改進，所述方法還包括：對自主駕駛模型進行訓練的步驟，具體包括：

建立包括智能船舶的多模態數據和駕駛行為的訓練數據集；

將訓練數據集中的圖像數據與3D點云數據作為CNN的輸入數據；將船舶感知的數據作為LSTM的輸入數據；用駕駛行為的加速度和轉角信息作為輸出層的訓練數據；

采用反向傳播的方法訓練CNN和LSTM深度神經網絡，建立感知數據到決策之間的深度神經網絡映射關系。

作為上述方法的一種改進，所述建立包括智能船舶的多模態數據和駕駛行為的訓練數據集，具體包括：

智能船舶在航行過程中，通過船載傳感器記錄船舶遇到的各種環境和船舶狀態數據；同時通過船舶駕駛記錄儀，記錄出現上述環境和船舶狀態時，有經驗的駕駛人員所做的各種駕駛行為；由此獲取包括智能船舶的多模態數據和駕駛行為的訓練數據集；所述船載傳感器包括：激光雷達、攝像頭、GPS、航速、加速度和陀螺儀慣性傳感器，以及風速和溫度環境傳感器。

本發明還提出了一種基于多模態數據的船舶駕駛行為預測系統，所述系統包括：訓練好的自主駕駛模型、數據采集模塊和預測模塊；

所述數據采集模塊，用于實時采集智能船舶的多模態數據，包括：圖像數據、3D點云數據以及船舶感知的數據；

所述預測模塊，用于將多模態數據輸入預先訓練好的自主駕駛模型，輸出預測的駕駛行為。