[發(fā)明專利]基于DCBFFNet的城市河道水上多目標檢測方法與系統

在審

• 申請?zhí)枺?/td>: 202210309109.8
• 申請日: 2022-03-28
• 公開（公告）號: CN114973054A
• 公開（公告）日: 2022-08-30
• 發(fā)明（設計）人: 張麗麗;魏雅雪;王高旭;吳巍;陳君;王慧斌;張軒;許怡;李岱遠
• 申請（專利權）人: 河海大學;水利部交通運輸部國家能源局南京水利科學研究院
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V20/52;G06V20/70;G06V10/80;G06V10/44;G06V10/82;G06V10/764;G06V10/766;G06V10/762;G06N3/04;G06N3/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 孟紅梅

本發(fā)明公開了一種基于DCBFFNet的城市河道水上多目標檢測方法與系統。首先從視頻流中分別提取城市河道管理涉及水上對象的圖像，進行降噪處理和標注，構建目標檢測數據集；其次構建對象尺度敏感的密集連接雙向特征融合深度學習模型DCBFFNet，該模型構建了面向多對象特性的特征層選擇模塊以及基于多尺度特征的密集雙向特征融合模塊，并設計了面向對象的多層特征圖錨框尺寸；再基于最優(yōu)的錨框尺寸和目標檢測數據集，進行模型的迭代訓練；最后基于訓練好的模型實現水上對象的定位和類別預測。本發(fā)明通過端到端的模型訓練可實現從數據集到目標檢測的完整流程，用于城市河道水上多目標的定位和對象類別判斷，為城市河道健康管理的及時響應提供智能化方法。

技術領域

本發(fā)明屬于圖像處理技術領域，具體涉及一種基于深度學習模型DCBFFNet(Densely Connected Bidirectional Feature Fusion Network，簡稱DCBFFNet)的城市河道水上多目標檢測方法與系統。

背景技術

在河湖健康管理方面，河面漂浮物的及時發(fā)現和打撈非常重要，可避免漂浮物堆積造成的水環(huán)境污染。早期常用的漂浮物檢測方法如背景差分法和幀間差分法等，主要是圍繞底層特征和中層特征(如顏色、紋理等)進行的，采用特征提取與分類器相結合的方式進行檢測。在多類別的目標檢測與識別任務中，需要多個分類器(如SVM)進行分類，這使得在訓練分類器上耗費大量時間。這類檢測方法是基于手工特征構建，受特征的選擇、目標形態(tài)和背景變化的影響較大，魯棒性和泛化能力較差。

隨著深度學習的快速發(fā)展，基于深度學習的目標檢測技術由于其強大的特征表達能力已經在多個領域得到廣泛應用，如航天航空、機器人導航、智能安防和工業(yè)檢測等領域，但由于水面環(huán)境復雜(如岸邊倒影，目標倒影，水面等)，水面目標種類多樣，尺度變化大(小到塑料瓶大到船只)，導致其在水利方面的應用效果不佳。在多類別水面目標檢測與識別中，水面目標隨水流堆積在一起，導致目標間存在遮擋，目標對象類別模糊，難以判斷。一些小目標如塑料瓶、易拉罐等體積較小，占用的圖像面積很小，與大目標相比，它們缺乏外觀信息，且高層特征缺乏判別性，難以與背景進行區(qū)分并實現精確定位，增加檢測難度。除此之外，從數據集方面來看，相比于單類別目標檢測任務，多類別目標檢測任務需要更高質量的數據集，除考慮總樣本量外，還需考慮不同類別目標樣本間的平衡，數據集中某一目標樣本過多或過少都會影響檢測模型的學習能力。因此需要研究一種新型的、性能優(yōu)良的城市河道水上對象目標檢測方法，實現從構建數據集到目標檢測和識別的完整流程。

發(fā)明內容

發(fā)明目的：本發(fā)明的目的是為了克服現有技術在城市河道水上對象分類識別方面的不足，提供一種基于深度學習的高精度的城市河道水上多對象檢測識別方法與系統，為智慧水利和河長制提供先進技術。

技術方案：為實現本發(fā)明的目的，本發(fā)明所采用的技術方案是：一種基于DCBFFNet的城市河道水上多目標檢測方法，包含以下步驟：

(1)從視頻流中分別提取城市河道管理涉及水上對象的圖像，包括瓶子類圖像、水草類圖像、混合物類圖像、船只類圖像，使用限制對比度自適應直方圖均衡化方法對采取的圖像進行降噪處理，再利用矩形框對各類水上對象進行位置和類別標簽的語義標注，構建目標檢測數據集；

(2)構建一種對象尺度敏感的密集連接雙向特征融合深度學習模型DCBFFNet，包括：

構建面向多對象特性的特征層選擇模塊，分別研究數據集中每一類檢測對象的尺度參數與不同卷積層的感受野尺度參數及對應尺度下提取特征的差異性，有針對性地選取模型中需要融合的不同尺度、不同分辨率的特征圖；

構建基于多尺度特征的密集雙向特征融合模塊，根據選擇的不同尺度和不同分辨率的特征圖設計兩種不同結構的傳輸連接塊TCM和TCB，多個相互連接的傳輸連接塊TCM和多個相互連接的傳輸連接塊TCB分別構建自上而下和自下而上的兩個互逆?zhèn)鬏斅窂剑赃x取的多層特征圖為輸入，基于密集連接的方式分別完成自上而下和自下而上的特征傳輸及特征融合；