[發明專利]一種基于多模態數據的船舶駕駛行為預測方法及系統

在審

• 申請號: 202010111317.8
• 申請日: 2020-02-24
• 公開（公告）號: CN111353636A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 張寶晨;史世武;張鷺;耿雄飛;文捷
• 申請（專利權）人: 交通運輸部水運科學研究所
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06N3/04;G06N3/08
• 代理公司: 北京方安思達知識產權代理有限公司 11472
• 代理人: 陳琳琳;李彪

1.一種基于多模態數據的船舶駕駛行為預測方法，所述方法包括：

實時采集智能船舶的多模態數據，所述多模態數據包括：圖像數據、3D點云數據以及船舶感知的數據；

將多模態數據輸入預先訓練好的自主駕駛模型，輸出預測的駕駛行為。

2.根據權利要求1所述的基于多模態大數據的船舶駕駛行為預測方法，其特征在于，所述方法還包括：綜合分析駕駛行為的步驟：

基于環境實時感知數據和船舶自身狀態的感知數據，獲取駕駛行為的狀態，包括駕駛的平滑性，是否暴力駕駛或者是否疲勞駕駛。

3.根據權利要求1或2所述的基于多模態大數據的船舶駕駛行為預測方法，其特征在于，所述自主駕駛模型采用CNN和LSTM組合的深度神經網絡模型，其輸入為圖像數據、3D點云數據以及船舶感知的數據；輸出為預測的駕駛行為；所述船舶感知的數據包括速度、加速度、角速度、天氣、水文和船舶姿態；所述駕駛行為包括：轉向動作、加速動作和減速動作。

4.根據權利要求3所述的基于多模態大數據的船舶駕駛行為預測方法，其特征在于，所述方法還包括：對自主駕駛模型進行訓練的步驟，具體包括：

建立包括智能船舶的多模態數據和駕駛行為的訓練數據集；

將訓練數據集中的圖像數據與3D點云數據作為CNN的輸入數據；將船舶感知的數據作為LSTM的輸入數據；用駕駛行為的加速度和轉角信息作為輸出層的訓練數據；

采用反向傳播的方法訓練CNN和LSTM深度神經網絡，建立感知數據到決策之間的深度神經網絡映射關系。

5.根據權利要求4所述的基于多模態大數據的船舶駕駛行為預測方法，其特征在于，所述建立包括智能船舶的多模態數據和駕駛行為的訓練數據集，具體包括：

智能船舶在航行過程中，通過船載傳感器記錄船舶遇到的各種環境和船舶狀態數據；同時通過船舶駕駛記錄儀，記錄出現上述環境和船舶狀態時，有經驗的駕駛人員所做的各種駕駛行為；由此獲取包括智能船舶的多模態數據和駕駛行為的訓練數據集；所述船載傳感器包括：激光雷達、攝像頭、GPS、航速、加速度和陀螺儀慣性傳感器，以及風速和溫度環境傳感器。

6.一種基于多模態數據的船舶駕駛行為預測系統，其特征在于，所述系統包括：訓練好的自主駕駛模型、數據采集模塊和預測模塊；

所述數據采集模塊，用于實時采集智能船舶的多模態數據，包括：圖像數據、3D點云數據以及船舶感知的數據；

所述預測模塊，用于將多模態數據輸入預先訓練好的自主駕駛模型，輸出預測的駕駛行為。

7.根據權利要求6所述的基于多模態大數據的船舶駕駛行為預測系統，其特征在于，所述系統還包括：駕駛行為綜合分析模塊，用于基于環境實時感知數據和船舶自身狀態的感知數據，獲取駕駛行為的狀態，包括駕駛的平滑性，是否暴力駕駛或者是否疲勞駕駛。

8.根據權利要求6或7所述的基于多模態大數據的船舶駕駛行為預測系統，其特征在于，所述自主駕駛模型采用CNN和LSTM組合的深度神經網絡模型，其輸入為圖像數據、3D點云數據以及船舶感知的數據；輸出為預測的駕駛行為；所述船舶感知的數據包括速度、加速度、角速度、天氣、水文和船舶姿態；所述駕駛行為包括：轉向動作、加速動作和減速動作。

9.根據權利要求8所述的基于多模態大數據的船舶駕駛行為預測方法，其特征在于，所述自主駕駛模型的訓練步驟，具體包括：

建立包括智能船舶的多模態數據和駕駛行為的訓練數據集；

將訓練數據集中的圖像數據與3D點云數據作為CNN的輸入數據；將船舶感知的數據作為LSTM的輸入數據；用駕駛行為的加速度和轉角信息作為輸出層的訓練數據；

采用反向傳播的方法訓練CNN和LSTM深度神經網絡，建立感知數據到決策之間的深度神經網絡映射關系。

10.根據權利要求9所述的基于多模態大數據的船舶駕駛行為預測系統，其特征在于，所述建立包括智能船舶的多模態數據和駕駛行為的訓練數據集，具體包括：

智能船舶在航行過程中，通過船載傳感器記錄船舶遇到的各種環境和船舶狀態數據；同時通過船舶駕駛記錄儀，記錄出現上述環境和船舶狀態時，有經驗的駕駛人員所做的各種駕駛行為；由此獲取包括智能船舶的多模態數據和駕駛行為的訓練數據集；所述船載傳感器包括：激光雷達、攝像頭、GPS、航速、加速度和陀螺儀慣性傳感器，以及風速和溫度環境傳感器。