[發(fā)明專利]基于FPGA的人臉檢測(cè)裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110292634.9
• 申請(qǐng)日: 2021-03-18
• 公開(kāi)（公告）號(hào): CN113034457B
• 公開(kāi)（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 劉亞軍;王志雄;梁永寧
• 申請(qǐng)（專利權(quán)）人: 廣州市索圖智能電子有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/90;G06N3/0464;G06N3/047;G06N3/08;G06T1/20
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郭浩輝;顏希文

本發(fā)明公開(kāi)一種基于FPGA的人臉檢測(cè)裝置，包括：主控指令解析模塊、神經(jīng)網(wǎng)絡(luò)計(jì)算模塊、圖像縮放模塊、目標(biāo)框處理模塊和輸出模塊；所述主控指令解析模塊、所述神經(jīng)網(wǎng)絡(luò)計(jì)算模塊、所述圖像縮放模塊、所述目標(biāo)框處理模塊和所述輸出模塊都是在硬件FPGA上基于硬件設(shè)計(jì)語(yǔ)言設(shè)計(jì)的。采用本發(fā)明實(shí)施例，從FPGA作為硬件實(shí)現(xiàn)平臺(tái)采集到的連續(xù)圖像幀中正確檢測(cè)出人臉，達(dá)到更低的功耗以及更高的電路設(shè)計(jì)靈活度。

技術(shù)領(lǐng)域

本發(fā)明涉及人臉檢測(cè)技術(shù)領(lǐng)域，尤其涉及一種基于FPGA的人臉檢測(cè)裝置。

背景技術(shù)

目前的人臉檢測(cè)技術(shù)主要通過(guò)軟件方式實(shí)現(xiàn)在計(jì)算機(jī)等云端平臺(tái)，算法部署及運(yùn)行成本高；當(dāng)前的以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的人臉檢測(cè)識(shí)別算法主要是以Pytorch、Tensorflow、Caffe等框架為搭建平臺(tái)，以CPU或GPU為硬件基礎(chǔ)來(lái)實(shí)現(xiàn)。采用X86結(jié)構(gòu)的CPU為硬件基礎(chǔ)，無(wú)法充分的實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)中的并行性的特點(diǎn)，網(wǎng)絡(luò)的處理速度會(huì)受到影響。若以GPU為硬件基礎(chǔ)，雖然可以充分的發(fā)掘卷積神經(jīng)網(wǎng)絡(luò)并行處理的特點(diǎn)，但是GPU的昂貴的成本以及功耗讓當(dāng)前快速發(fā)展的物聯(lián)網(wǎng)等便攜式設(shè)備望而卻步。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供基于FPGA的人臉檢測(cè)裝置，選取FPGA作為以MTCNN卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的相關(guān)算法的實(shí)現(xiàn)平臺(tái)，以更低的功耗以及更高的電路設(shè)計(jì)靈活度充分實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)并行性。

本申請(qǐng)實(shí)施例的第一方面提供了一種基于FPGA的人臉檢測(cè)裝置，所述裝置包括：主控指令解析模塊、神經(jīng)網(wǎng)絡(luò)計(jì)算模塊、圖像縮放模塊、目標(biāo)框處理模塊和輸出模塊；所述主控指令解析模塊、所述神經(jīng)網(wǎng)絡(luò)計(jì)算模塊、所述圖像縮放模塊、所述目標(biāo)框處理模塊和所述輸出模塊都是在硬件FPGA上基于硬件設(shè)計(jì)語(yǔ)言設(shè)計(jì)的；

其中，所述主控指令解析模塊用于解析神經(jīng)網(wǎng)絡(luò)當(dāng)前層的配置參數(shù)，以及配置所述神經(jīng)網(wǎng)絡(luò)計(jì)算模塊中所需要的卷積神經(jīng)網(wǎng)絡(luò)，以及對(duì)所述目標(biāo)框處理模塊和所述圖像縮放模塊的協(xié)調(diào)控制；

所述神經(jīng)網(wǎng)絡(luò)計(jì)算模塊包括P-Net、O-Net和R-Net三個(gè)卷積神經(jīng)網(wǎng)絡(luò)；所述神經(jīng)網(wǎng)絡(luò)計(jì)算模塊用于篩選人臉目標(biāo)框以及計(jì)算所述人臉目標(biāo)框的偏置數(shù)據(jù)；所述人臉目標(biāo)框是通過(guò)將所述卷積神經(jīng)網(wǎng)絡(luò)輸出的分?jǐn)?shù)矩陣中大于閾值的坐標(biāo)映射到原圖中得到的；

所述圖像縮放模塊用于構(gòu)建輸入圖像的圖像金字塔，還有所述P-Net和所述R-Net之間、所述R-Net和所述O-Net之間圖像輸入的尺寸縮放比例；

所述目標(biāo)框處理模塊用于根據(jù)篩選后的人臉目標(biāo)框以及所述偏置數(shù)據(jù)來(lái)得到新的人臉目標(biāo)框；

所述輸出模塊用于根據(jù)所述神經(jīng)網(wǎng)絡(luò)計(jì)算模塊的輸出結(jié)果生成歸一化的人臉檢測(cè)結(jié)果。

在第一方面的一種可能的實(shí)現(xiàn)方式中，所述人臉檢測(cè)裝置，還包括圖像增強(qiáng)模塊，所述圖像增強(qiáng)模塊用于增強(qiáng)所述輸入圖像。

在第一方面的一種可能的實(shí)現(xiàn)方式中，所述圖像增強(qiáng)模塊，具體包括卷積計(jì)算子模塊、卷積核選擇子模塊和卷積計(jì)算子模塊；

所述卷積計(jì)算子模塊包括第一卷積子模塊和第二卷積子模塊；所述第一卷積子模塊包含水平細(xì)胞處理算法以及對(duì)應(yīng)的卷積核；所述第二卷積子模塊包含雙極細(xì)胞處理算法以及對(duì)應(yīng)的卷積核；

所述卷積核選擇子模塊用于根據(jù)卷積窗口的中心像素點(diǎn)的取值范圍來(lái)選擇對(duì)應(yīng)的卷積核。

在第一方面的一種可能的實(shí)現(xiàn)方式中，所述圖像縮放模塊，具體包括主控制子模塊、輸出坐標(biāo)解析子模塊、雙線性差值算法數(shù)據(jù)處理子模塊以及奇偶BRAM組地址數(shù)據(jù)處理子模塊；

所述雙線性差值算法數(shù)據(jù)處理子模塊包括雙線性差值算法整數(shù)和小數(shù)提取子模塊和雙線性差值算法數(shù)據(jù)計(jì)算子模塊；

所述奇偶BRAM組地址數(shù)據(jù)處理子模塊包括奇偶BRAM組地址解析子模塊和奇偶BRAM組數(shù)據(jù)輸出子模塊。