[發明專利]一種基于ZYNQ的人臉關鍵點檢測系統

在審

• 申請號: 201810774764.4
• 申請日: 2018-07-16
• 公開（公告）號: CN109034025A
• 公開（公告）日: 2018-12-18
• 發明（設計）人: 陸生禮;龐偉;向家淇;周世豪;范雪梅;李宇峰
• 申請（專利權）人: 東南大學;東南大學—無錫集成電路技術研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 葛瀟敏

1.一種基于ZYNQ的人臉關鍵點檢測系統，其特征在于：包括攝像頭、ZYNQ平臺和VGA顯示器，其中，ZYNQ平臺集成有可編程邏輯模塊和處理系統模塊，處理系統模塊中設有處理器和存儲器；所述攝像頭用于采集視頻信息并將其發送到ZYNQ平臺，ZYNQ平臺將視頻轉換成單幀圖像并保存在存儲器中，可編程邏輯模塊進行一系列計算后將運算結果返回處理器，處理器根據運算結果顯示相應的人臉關鍵點，并將處理后的圖像存至存儲器，最后圖像轉成滿足VGA輸出的數據格式并輸出到VGA顯示器。

2.如權利要求1所述的一種基于ZYNQ的人臉關鍵點檢測系統，其特征在于：所述可編程邏輯模塊基于卷積神經網絡對單幀圖像進行建模，并提取模型參數；然后檢測單幀圖像的人臉關鍵點坐標，發送至處理器。

3.如權利要求2所述的一種基于ZYNQ的人臉關鍵點檢測系統，其特征在于：所述可編程邏輯模塊基于卷積神經網絡對單幀圖像進行建模過程是：首先，設計卷積神經網絡的結構，所述卷積神經網絡包括多屬性訓練網絡和人臉關鍵點檢測網絡；然后，進行遷移學習，得到最終的人臉關鍵點檢測神經網絡模型，提取模型參數。

4.如權利要求2所述的一種基于ZYNQ的人臉關鍵點檢測系統，其特征在于：所述模型參數包括權重參數和偏置參數。

5.如權利要求2所述的一種基于ZYNQ的人臉關鍵點檢測系統，其特征在于：所述卷積神經網絡每層特征圖的數量和尺度大小確定方法如下：設每個大小為c*c的卷積運算單元所占存儲資源為m，網絡輸入大小為s*s，總的硬件存儲資源為M，計算并行度為p，需保證網絡前k層特征圖大小被卷積運算單元大小c整除，同時滿足條件：p*m<M。

6.如權利要求2所述的一種基于ZYNQ的人臉關鍵點檢測系統，其特征在于：所述可編程邏輯模塊檢測單幀圖像的人臉關鍵點坐標的具體過程是：

步驟1，將待檢測關鍵點的人臉圖像和訓練好的模型參數提取出來保存在ZYNQ平臺的存儲器中；

步驟2，按順序發送一批p個大小為c*c的輸入特征圖數據暫存至發送緩存區域，發送緩存區域中的數據通過DMA發送到可編程邏輯模塊，其中第一層的輸入特征圖為待檢測關鍵點的人臉圖像RGB三個通道像素值；

步驟3，按已發送輸入特征圖的順序，發送一批對應的權重和偏置參數；

步驟4，在ZYNQ平臺的可編程邏輯模塊進行并行的乘累加卷積計算，并將計算結果保存至FIFO，FIFO中的數據通過DMA中斷接收至接收緩存區域，接收緩存區域的數據按輸出特征圖排列好后存放至DDR；

步驟5，重復步驟3到步驟4發送一批新的權重和偏置參數，直到接收到已發送輸入特征圖對應的所有輸出特征圖；

步驟6，重復步驟2到步驟5直到接收到本層所有輸出特征圖；

步驟7，將本層的輸出特征圖作為下一層的輸入特征圖，開始處理下一層，重復步驟2到步驟6直到所有層已被處理，輸出最終預測的人臉關鍵點坐標。

7.如權利要求6所述的一種基于ZYNQ的人臉關鍵點檢測系統，其特征在于：所述步驟4中，可編程邏輯模塊的計算由ZYNQ平臺ARM端發送的GPIO控制字來控制：包括計算的啟止以及卷積結果相加中輸入特征圖的個數。