[發明專利]基于GAN的交通視頻顯著性預測方法

在審

• 申請號: 202011241840.9
• 申請日: 2020-11-09
• 公開（公告）號: CN112308005A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 顏紅梅;劉秩銘;田晗;秦龍;蔣蓮芳;卓義軒;楊曉青
• 申請（專利權）人: 電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 周劉英

1.基于GAN的交通視頻顯著性預測方法，其特征在于，包括下列步驟：

步驟1：構建用于交通視頻圖像的顯顯著區域預測的GAM模型；

所述GAM模型包括生成網絡和判別網絡；

其中，生成網絡采用U型網絡結構，包括編碼器和解碼器，且在編碼器和解碼器之間包括三個依次連接的且結構相同的卷積層；

其中，編碼器包括順次連接的N個子塊，每個子塊包括依次連接的卷積層、最大池化層和殘差模塊；其中，編碼器的N個殘差模塊相似，且編碼器每個殘差模塊處理后的圖像尺度比輸入的圖像尺度縮小一倍；

解碼器包括順次連接的N個子塊，每個子塊包括依次連接的圖像縮放層、卷積層和殘差模塊，其中，圖像縮放層用于增大輸入的圖像；解碼器的N個殘差模塊相似，且解碼器的每個殘差模塊處理后的圖像尺度比輸入的圖像尺度增大一倍，即解碼器的N個殘差模塊與編碼器的N個殘差模塊呈對稱排列，且同一對稱子塊位置處的殘差模塊的結構相同；

生成網絡的解碼器的各殘差模塊分別輸出一個尺度的生成圖像，從而生成N個尺度不同的生成圖像；

判別網絡對生成網絡生成的N個尺度不同的生成圖像進行多步判別，經過多層卷積操作后進行批標準化處理和線性激活處理，最后對隱含層的輸出張量做卷積，輸出一個二維的矩形向量；

且判別網絡采用CycleGAN的損失判別方式；

步驟2：基于采集的訓練樣本集對GAM模型進行深度神經網絡模型訓練，得到將訓練好的GAM模型；

其中，訓練樣本的樣本標簽基于預設的眼動實驗對圖像的數據預處理獲得；

步驟3：對待預測的交通視頻圖像進行圖像預處理，使其與訓練好的GAM模型的輸入相匹配，基于其輸出得到待預測的交通視頻圖像的顯著區域。

2.如權利要求1所述的方法，其特征在于，編碼器和解碼器的各殘差模塊包括兩層卷積隱含層，將第二層卷積隱含層的輸出與第一層卷積隱含層的輸入的疊加結果作為殘差模塊的輸出。

3.如權利要求1所述的方法，其特征在于，所述圖像縮放層采用雙線性插值resize方法對輸入圖像進行圖像增大處理。

4.如權利要求1、2或3所述的方法，其特征在于，步驟2中，訓練樣本的樣本標簽設置具體為：

將交通視頻的每一幀分解為交通圖像，作為GAM模型的輸入數據，并將所有視頻以一定比例分為訓練集和測試集，將被試觀看交通視頻采集的眼動數據與每幀視頻做匹配，執行下述數據預處理：

(1)眼動數據轉圖像：

對交通視頻的每一幀圖像進行尺寸歸一化處理，作為交通場景原圖，定義歸一化后的圖像大小為m×n；

并將每一視頻幀對應的眼動數據映射到m×n大小的灰度圖像中，每個注視點位置都與交通場景原圖相對應匹配，得到與交通場景原圖一一匹配的眼動數據圖像；

(2)注視點擴充成圓點：

以眼動數據圖像中的每個注視點為圓心，基于預設的圓半徑，將每個注視點擴充成圓形的注視區域，且圓形注視區域的灰度值從圓心到圓邊緣逐漸衰減，其灰度值是與注視點到圓心的距離成反比；

(3)高斯平滑處理：

對注視點擴充成圓點后的每幅眼動數據圖像進行高斯平滑處理后，再采用hsv標準顏色影映像，將得到的灰度高斯圖像轉換成彩色，得到彩色高斯注視區域圖像；

(4)眼動數據與原圖融合：

將每幅彩色高斯注視區域圖像與其對應的交通場景原圖相融合，得到融合圖像，即得到帶有樣本標簽的訓練樣本。

5.如權利要求1、2或3所述的方法，其特征在于，將注視點擴充成圓點時，采用的半徑為21個像素點。

6.如權利要求1、2或3所述的方法，其特征在于，步驟(3)中，將得到的灰度高斯圖像轉換成彩色時，顏色漸變從紅到綠，并將采用的顏色漸變矩陣長度擴充4倍。

7.如權利要求1、2或3所述的方法，其特征在于，步驟(1)中，歸一化后的圖像大小為1280×720。