[發明專利]一種基于多特征視覺的智能交通電子提示裝置檢測方法及系統

有效

• 申請號: 202110769715.3
• 申請日: 2021-07-07
• 公開（公告）號: CN113378787B
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 龐丹丹;江永清;李成棟
• 申請（專利權）人: 山東建筑大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V20/56;G06N3/08
• 代理公司: 濟南克雷姆專利代理事務所(普通合伙) 37279
• 代理人: 張祥明

1.一種基于多特征視覺的智能交通電子提示裝置檢測方法，其特征在于，包括：

對交通道路實況視頻進行采集；

將視頻轉換成易于模型分析、傳送和進一步處理的形式傳輸到模型中；

分階段對交通道路數據進行處理，由目標檢測模型對輸入模型中的數據進行特征提取，輸出帶有類別標簽和矩形定位邊界框的特征圖，由語義分割模型對目標檢測模型中輸出的帶有類別標簽和矩形定位邊界框的特征圖進行特征點的分類并預測結果；

將結果輸出并進行語音播報提醒；

所述目標檢測模型包括：

神經網絡模型，采用多種神經網絡模型共同對圖像進行特征層提取；

特征池，用于存儲不同網絡模型提取到的相同尺寸的特征層，并進行通道數的堆疊與壓縮，得到多個特征層；

i-FPN模塊，將特征池輸出的多個特征層與i-FPN模塊內部的初始金字塔特征進行加權；

非線性轉換器，將i-FPN模塊輸出的特征進行非線性變換；

平衡特征求解器，將非線性轉換器輸出結果求解得到金字塔特征；

所述語義分割模型包括：

主干特征提取網絡，對目標檢測模型得到的檢測特征圖進行特征提取，獲得多個初步的有效特征層；

加強特征提取網絡，對主干特征提取階段獲得的多個初步有效特征層進行特征融合，從而獲得最終的融合了所有特征的有效特征層；

所述語義分割模型根據最終的融合了所有特征的有效特征層對結果進行預測。

2.根據權利要求1所述的一種基于多特征視覺的智能交通電子提示裝置檢測方法，其特征在于，所述易于模型分析、傳送和進一步處理的形式為圖片或視頻幀。

3.根據權利要求1所述的一種基于多特征視覺的智能交通電子提示裝置檢測方法，其特征在于，所述對交通道路實況視頻進行采集為通過高清攝像機對交通道路視頻進行實時采集。

4.一種基于多特征視覺的智能交通電子提示裝置檢測系統，其特征在于，包括：

視頻流采集單元，對交通道路實況視頻進行采集；

預處理單元，將采集到的視頻轉換成易于模型分析、傳送和進一步處理的形式；

輸入單元，將交通道路數據傳輸到模型中；

檢測單元，分階段對交通道路數據進行處理，由目標檢測模型對輸入模型中的數據進行特征提取，輸出帶有類別標簽和矩形定位邊界框的特征圖，由語義分割模型對目標檢測模型中輸出的帶有類別標簽和矩形定位邊界框的特征圖進行特征點的分類并預測結果；

輸出單元，將結果輸出；

語音提醒單元，將結果進行語音播報；

所述目標檢測模型包括：

神經網絡模型，采用多種神經網絡模型共同對圖像進行特征層提取；

特征池，用于存儲不同網絡模型提取到的相同尺寸的特征層，并進行通道數的堆疊與壓縮，得到多個特征層；

i-FPN模塊，將特征池輸出的多個特征層與i-FPN模塊內部的初始金字塔特征進行加權；

非線性轉換器，將i-FPN模塊輸出的特征進行非線性變換；

平衡特征求解器，將非線性轉換器輸出結果求解得到金字塔特征；

所述語義分割模型包括：

主干特征提取網絡，對目標檢測模型得到的檢測特征圖進行特征提取，獲得多個初步的有效特征層；

加強特征提取網絡，對主干特征提取階段獲得的多個初步有效特征層進行特征融合，從而獲得最終的融合了所有特征的有效特征層；

所述語義分割模型根據最終的融合了所有特征的有效特征層對結果進行預測。