[發明專利]一種人群計數的注意力縮放機制

在審

• 申請號: 202110658494.2
• 申請日: 2021-06-15
• 公開（公告）號: CN113284130A
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 莫敏玲
• 申請（專利權）人: 廣東藍鯤海洋科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/136;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種人群計數的注意力縮放機制，屬于圖像處理技術領域，包括以下步驟：步驟S1：分別建立密度注意力網絡和注意力縮放網絡；步驟S2：通過所述密度注意力網絡為注意力縮放網絡提供有關不同密度級別區域的注意力掩碼。本發明中，提出了注意力擴展網絡ASNet，ASNet具有一個“注意力縮放”分支和一個“密度估計”分支，DE?Branch生成要校正的中間密度圖，AS?branch學習生成縮放因子，該縮放因子旨在結合DANet提供的注意力掩碼來調整中間密度圖，這些比例因子有助于微調相應本地區域的總體人群數，能夠將其視為人類使用的粗略估計策略，該策略通過乘以一個因子來調整預測計數，而無需逐像素重新計算，能夠比基準網絡獲得更好的計數結果。

技術領域

本發明屬于圖像處理技術領域，尤其涉及一種人群計數的注意力縮放機制。

背景技術

基于卷積神經網絡(CNN)的方法通常通過輸出人群密度圖將人群計數作為回歸任務，他們學習圖像內容和人群密度分布之間的映射，盡管已經取得了令人鼓舞的結果，但這些數據驅動的計數網絡易于高估或低估具有不同密度模式的區域的人口數量，這會降低整體計數的準確性，為了克服這個問題，提出了一種減輕不同區域的計數性能差異的方法，使用注意力縮放機制來做人群計數。

之前的多尺度信息融合方法旨在利用多尺度特征或上下文信息來處理人群規模變化問題，之前文獻提出的多列卷積神經網絡(MCNN) 利用多尺度卷積核提取具有不同尺寸的圖像特征，同樣，有文獻提出了使用開關分類器從密度生成器池中選擇最佳分類器的Switch-CNN，隨后，CP-CNN被提出，以通過結合全局和局部上下文先驗來捕獲多尺度信息，此外，現有技術還提出了一種多層次的底部-頂部和頂部- 底部融合網絡(MBTTBF)，該網絡經過精心設計，能夠將多個淺層和深層特征結合在一起，現有技術還提出了一個規模金字塔網絡(SPN)，該網絡并行利用共享單列CNN中不同速率的膨脹卷積來提取多尺度特征。

基于視覺注意力機制的方法使計數網絡有意地將注意力集中在有用的信息上以提高計數性能，現有技術還提出了注意神經場(ANF)，它結合了條件隨機場和非局部注意機制來捕獲多尺度特征和長期依賴關系，從而增強了網絡應對大規模變化的能力，此外，現有技術還提出了一種關系注意力網絡(RANet)，該網絡利用局部自我注意和全局自我注意機制來捕獲像素的相互依賴信息，從而獲得更多信息特征表示，也有文獻提出的可變形網絡(ADCrowdNet)以及利用注意力圖生成器為后者的密度圖估計器提供區域和聚集度。

多任務學習方法利用輔助任務來實現人群計數功能，現有技術還提出利用額外的人群計數任務為密度估計任務提供高層的優先權，兩項共同學習的任務使網絡的共享部分能夠學習更多區分功能，現有技術還通過利用對抗性學習和密度估計之間的協作，提出了對抗性跨尺度一致性(ACSCP)框架，現有技術還提出將自我監督的圖像排名和密度估計合并到多任務學習框架中，這使得從大量未標記的人群數據集中學習成為可能，現有技術還提出將包括幾何，語義和數字信息在內的多種異構屬性作為輔助任務來輔助計數任務，這有助于生成更健壯的特征來應對尺度變化和混亂的背景。

本發明旨在通過注意力縮放機制來解決人群計數問題，并提出可行的實現方法。

發明內容

本發明的目的在于：為了解決基于卷積神經網絡(CNN)的方法通常通過輸出人群密度圖將人群計數作為回歸任務，他們學習圖像內容和人群密度分布之間的映射，盡管已經取得了令人鼓舞的結果，但這些數據驅動的計數網絡易于高估或低估具有不同密度模式的區域的人口數量，這會降低整體計數等問題，而提出的一種人群計數的注意力縮放機制。

為了實現上述目的，本發明采用了如下技術方案：

一種人群計數的注意力縮放機制，包括以下步驟：

步驟S1：分別建立密度注意力網絡和注意力縮放網絡；

步驟S2：通過所述密度注意力網絡為注意力縮放網絡提供有關不同密度級別區域的注意力掩碼；