[發明專利]基于GAN的交通視頻顯著性預測方法

在審

• 申請號: 202011241840.9
• 申請日: 2020-11-09
• 公開（公告）號: CN112308005A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 顏紅梅;劉秩銘;田晗;秦龍;蔣蓮芳;卓義軒;楊曉青
• 申請（專利權）人: 電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 周劉英

本發明公開了一種基于GAN的交通視頻顯著性預測方法，屬于計算機視覺技術領域。本發明將駕駛中的選擇性注意機制與深度學習方法相結合，設計了逐漸生長多步判別的GAN網絡模型，可以實時計算和預測行車記錄儀拍攝的交通場景視頻的顯著性區域。基于本發明的GAN網絡模型，可以有效地估計交通駕駛環境中駕駛員視覺搜索的顯著性區域和環境周邊突發情況，同時也能計算出交通標志等值得關注的重要目標。本發明通過結合視覺注意的相關機理及顯著性檢測模型去理解和預測交通駕駛場景中與駕駛任務有關的信息，可對未來的智能駕駛車輛、駕駛訓練和輔助駕駛系統等提供有用的理論依據和視覺感知相關技術手段。

技術領域

本發明屬于計算機視覺技術領域，具體涉及交通場景中圖像顯著性檢測方法。

背景技術

交通場景中，車輛周圍的情況是復雜且多變的。駕駛車輛周圍充斥著大量信息，如其他車輛、行人、障礙物、交通標志等目標。為了駕駛安全，駕駛輔助系統除了檢測車輛周邊的常規目標，更應該識別出對駕駛安全來說更重要的目標。由于駕駛員在駕駛過程中需要注意力高度集中，大腦只能處理有限的信息，所以駕駛過程中重要信息的提醒就顯得尤為重要。研究表明，有經驗的駕駛員在模擬駕駛中搜索和提取目標的速度更快，視覺感知顯著圖更集中，自上而下的任務驅動能更有效地提取和處理特定環境信息。交通場景中的重要信息可以從行車記錄儀和路口交通監控中通過學習行為模式來提取車輛框架和運動趨勢，以及檢測行人的位置、路徑和交通標志的空間位置。眼動儀記錄的眼動數據代表了交通場景中的視覺感知顯著性區域，這可以作為重要信息的標簽，以此來預測交通場景的顯著性區域。

近年來，神經網絡越來越多地應用在圖像和視頻領域，并且處理效果良好。卷積神經網絡可以提取圖像中的低級和高級特征，并做出相應的識別和分類。生成對抗網絡(GAN)是一種無監督學習算法，可以學習非線性的特征，其中的生成網絡可以生成目標圖像。在使用GAN的生成模型的基礎上，可以將GAN運用到視頻中。殘差網絡(Resnet)結構利用了先驗信息的指導，解決了深度神經網絡中的梯度消失問題，可以使神經網絡層數加深的同時降低學習參數難度。CycleGAN是生成對抗網絡的一種變形，訓練集數據可以沒有一一映射關系，相當于增大了訓練集數據量，可以實現非配對的圖像到圖像的風格轉換等功能。結合上述幾種方法，可以生成高分辨率的交通場景圖，也可以生成顯著性預測的圖像，達到較好的預測注視區域效果。

據此，本發明的發明人設置了一個基于選擇性注意機制和深度學習神經網絡模型來預測交通駕駛場景中駕駛員視覺搜索的顯著性區域，并根據選擇性注意驅動的眼動特征來檢測駕駛員的注視行為和顯著性區域，以提醒駕駛員應注意哪些對駕駛有用的重要信息。

發明內容

本發明的發明目的在于：針對上述存在的問題，提供一種CNN、CycleGAN、Resnet與GAN相結合的、漸進式訓練判別的網絡模型，從而提升對交通視頻的顯著性的預測性能。

本發明的用于交通視頻的顯著性的預測的網絡模型包含兩個主要網絡：

1)生成網絡(生成器)：能生成包含合理注視區域的交通圖像，

2)判別網絡(判別器)：能對生成圖像與真實圖像進行判別。

生成網絡采用PG-GAN的思想，生成圖像的尺度逐漸增長，從低分辨率開始逐步生成高分辨率圖像。生成圖像的尺度變化過程包含殘差網絡結構塊，并且判別網絡對生成圖像的各個尺度進行多步判別，逐漸校正生成圖像質量，優化生成結果。生成網絡的最后輸出結果即為預測的顯著性區域。

即，本發明的基于GAN的交通視頻顯著性預測方法，包括下列步驟：

所述GAM模型包括生成網絡和判別網絡；

其中，生成網絡采用U型網絡結構，包括編碼器和解碼器，且在編碼器和解碼器之間包括三個依次連接的且結構相同的卷積層；