[發明專利]一種基于組優化獎勵的強化行人屬性識別方法

在審

• 申請號: 202210548663.1
• 申請日: 2022-05-20
• 公開（公告）號: CN114842507A
• 公開（公告）日: 2022-08-02
• 發明（設計）人: 冀中;胡振飛;王耀東;王港;耿虎軍
• 申請（專利權）人: 中國電子科技集團公司第五十四研究所;天津大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06N3/04;G06N3/08;G06V10/80
• 代理公司: 河北東尚律師事務所 13124
• 代理人: 王文慶;曲佳穎

本發明提出了一種基于組優化獎勵的強化行人屬性識別方法，屬于機器學習領域。該方法首先構造合適的馬爾科夫決策過程，運用CNN網絡提取行人圖像的特征，利用文本向量化工具提取屬性特征，將二者組成的元組作為馬爾科夫決策過程的狀態；將0和1組成的集合作為動作空間；設計狀態轉移過程以及獎勵函數。運用強化學習算法進行訓練，將狀態輸入到DQN網絡中，并利用屬性分組策略與組優化獎勵函數優化網絡的訓練，以獲取具備更優策略的智能體，提升行人屬性識別結果。

技術領域

本發明涉及一種行人屬性識別方法，具體涉及一種基于組優化獎勵的強化行人屬性識別方法。

背景技術

近年來，視頻監控在公共場所逐漸完善，千萬數量級的視頻監控設備在時時刻刻收集這道路交通、行人等視頻以及圖像信息，隨著平安城市、智慧城市的發展，合理高效地處理由視頻監控獲取的海量信息來提高安防水平逐漸成為一個重要的研究課題。行人屬性識別是監控視頻圖像分析中一個十分重要的任務，其目的是對監控視頻中獲取的行人圖像進行屬性的預測，以獲取諸如年齡、性別等全局屬性和諸如帽子、外套等局部屬性。行人屬性識別任務一方面能夠從監控視頻中識別具有潛在危險的人或物，例如識別出沒有佩戴口罩的人；一方面能夠對行人重識別，行人追蹤，行人檢測等任務起到輔助作用。因此行人屬性識別具有極其重要的研究價值和現實意義。

行人屬性識別研究初期利用的是人工提取的特征，比如說定向梯度直方圖和紋理直方圖。但是人工提取特征不但成本高昂，而且屬性識別效果也較差。隨著深度學習技術的興起，利用卷積神經網絡提取更好的圖像特征大大提升了行人屬性識別的性能，因此母親基于深度學習的方法已經成為了行人屬性識別的主流方法。

雖然行人屬性識別取得了一定的進展，但是由于行人屬性存在遮擋、模糊、低像素、數據分布不平衡等問題，識別效果還有待提高。行人屬性識別可以視作對某一屬性是否存在的一種判斷，將強化學習應用于行人屬性識別，不僅能夠利用強化學習強大的決策能力處理行人屬性識別任務，還能夠利用強化學習的獎勵函數來處理行人屬性識別固有的數據分布不平衡問題。也就是說，利用強化學習處理行人屬性識別任務不僅具有優越性，還具備很高的研究價值。

發明內容

有鑒于此，本發明提供一種基于組優化獎勵的強化行人屬性識別方法，該方法將行人屬性識別任務定義為馬爾科夫決策過程，并利用屬性分組策略與組優化獎勵函數來緩解行人屬性識別任務中的數據分布不平衡帶來的不利影響。

為了實現上述目的，本發明采用的技術方案是：

一種基于組優化獎勵的強化行人屬性識別方法，包括以下步驟：

1)獲取行人屬性識別數據集，并進一步獲取圖像特征與屬性特征，其中，圖像特征用f表示，屬性特征有L個，每個特征用v_t表示，即行人的屬性特征為V＝[v₁，v₂，…，v_L]；

2)構建馬爾科夫決策過程(S，A，R，T，γ)，包括狀態空間S，動作空間A，獎勵函數R，狀態轉移和折扣系數γ；

3)在訓練過程中，將馬爾科夫決策過程中的狀態輸入到DQN算法即基于深度學習的Q-learning算法中，并利用屬性分組策略和組優化獎勵函數來獲取更優的智能體策略；訓練時的損失函數采用均方差損失，公式如下：

其中，D表示DQN算法中的重放存儲器，E_{(s，a，r，s')～D}表示從重放存儲器中獲取經驗來計算損失的過程，由DQN算法中的Target網絡得到，θ^-和θ分別是Target網絡和Policy網絡的網絡參數，Q(s，a；θ)表示由Policy網絡得到的值；

4)經過訓練得到策略，智能體利用該策略對輸入圖像進行行人屬性識別。

進一步的，步驟1)的具體方式為：