[發(fā)明專利]一種基于深度學(xué)習(xí)的壓力足跡圖像檢索系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011259109.9
• 申請日: 2020-11-12
• 公開（公告）號: CN112257662A
• 公開（公告）日: 2021-01-22
• 發(fā)明（設(shè)計(jì)）人: 張艷;孫永勝;高梓健;王陳飛;唐俊
• 申請（專利權(quán)）人: 安徽大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06F21/32;G06F16/583;G06N3/04;G06N3/08
• 代理公司: 合肥偉晟壹騰知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 34190
• 代理人: 張水平

1.一種基于深度學(xué)習(xí)的壓力足跡圖像檢索系統(tǒng)，包括監(jiān)管區(qū)域、閘機(jī)通道、足跡采集器和足跡認(rèn)證系統(tǒng)，在所述的監(jiān)管區(qū)域進(jìn)入通道和外出通道各設(shè)置一臺閘機(jī)通道，并在所述的閘機(jī)通道的進(jìn)入端設(shè)置足跡采集器；其特征在于：該基于深度學(xué)習(xí)的壓力足跡圖像檢索系統(tǒng)包括數(shù)據(jù)預(yù)處理、最優(yōu)網(wǎng)絡(luò)訓(xùn)練、入庫和檢索功能三個階段。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的壓力足跡圖像檢索系統(tǒng)，其特征在于：所述的數(shù)據(jù)預(yù)處理包括壓力數(shù)據(jù)采集、去噪、數(shù)據(jù)統(tǒng)一化三步；

所述壓力數(shù)據(jù)采集：首先，被采集人員以正常姿態(tài)走上壓力采集板上并雙腳保持站立狀態(tài)持續(xù)1-2秒以獲取相對穩(wěn)定的足跡特征，然后走下采集儀器并轉(zhuǎn)身等待下一次的采集，采集狀態(tài)同上；我們按照一個來回算一趟，每個人共采集十趟，最后形成二十張足跡圖像；

所述的去噪：由于采集環(huán)境以及電流對壓力傳感器等影響，采集數(shù)據(jù)過程中或多或少存在數(shù)據(jù)噪聲干擾；為了減少噪聲的干擾，需對足跡壓力數(shù)據(jù)進(jìn)行濾波；由于噪聲點(diǎn)大都以離散點(diǎn)的形式出現(xiàn)，不會出現(xiàn)數(shù)據(jù)雜點(diǎn)聚集現(xiàn)象，因此采用方法：壓力足跡以當(dāng)前壓力點(diǎn)為中心，構(gòu)建一個3×3的濾波窗口，統(tǒng)計(jì)濾波窗口內(nèi)有壓力值的個數(shù)，如果壓力值的個數(shù)小于一定的閾值，則將此壓力點(diǎn)剔除；

所述的數(shù)據(jù)統(tǒng)一化三步：由于在采集數(shù)據(jù)的過程中我們采用來回轉(zhuǎn)身采集的方式，因?yàn)檫@樣采集不僅很大程度上節(jié)約每個人的采集時間，而且減少被采集人員的運(yùn)動量，正因?yàn)槊總€人所采集的足跡圖像中的腳印方向是交替相反的，這種足跡在方向上的不統(tǒng)一會對后面網(wǎng)絡(luò)的訓(xùn)練造成較大的消極影響，直接導(dǎo)致系統(tǒng)的整體性能的惡化；因此在數(shù)據(jù)預(yù)處理階段，對采集的所有圖像進(jìn)行去噪處理后又進(jìn)行了足跡方向的統(tǒng)一化，使所有的足跡方向統(tǒng)一向上。

3.根據(jù)權(quán)利要求2所述的一種基于深度學(xué)習(xí)的壓力足跡圖像檢索系統(tǒng)，其特征在于：所述的最優(yōu)網(wǎng)絡(luò)訓(xùn)練：數(shù)據(jù)集劃分，將所有的數(shù)據(jù)集按照訓(xùn)練集、支持集和查詢集進(jìn)行4：4：2的比例進(jìn)行劃分，其中訓(xùn)練集中的所有樣本用來訓(xùn)練；支持集用來構(gòu)造數(shù)據(jù)庫，數(shù)據(jù)庫的作用是提供一個較大的數(shù)據(jù)對比庫對未知ID信息的對象特征進(jìn)行對比找到對應(yīng)相似度最大的特征信息；查詢集用來當(dāng)前模型的訓(xùn)練情況，通過不斷地測試找到最優(yōu)網(wǎng)絡(luò)；

足跡特征學(xué)習(xí)網(wǎng)絡(luò)模型：在模型的訓(xùn)練階段，訓(xùn)練集中的所有圖片依次經(jīng)過卷積塊(Convolution+Relu+BN)進(jìn)行特征的提取，然后經(jīng)過最大池化層(MaxPool)減低特征的尺寸以及增加特征的非線性化表達(dá)，這樣做的目的可以有效的減少計(jì)算的開銷；當(dāng)維度變成28×28×512的時候外接一個卷積塊，這樣做的目的是為了更好的提取足跡的特征；因?yàn)樽阚E同其他的圖片不一樣的是足跡的輪廓特征在足跡的特征表達(dá)中占據(jù)非常重要的地位，然而當(dāng)卷積層數(shù)越深的時候，網(wǎng)絡(luò)提取的特征則更側(cè)重于足跡的高層語義特征，比如足跡中的壓力分布狀態(tài)等，同時深層網(wǎng)絡(luò)的特征提取會忽略掉足跡的淺層特征，如足跡的輪廓特征和紋理等特征；

為了防止淺層特征的丟失，將主干網(wǎng)絡(luò)第三個卷積塊分流出一個支流后接卷積塊和池化層變成維度大小為7×7×2048，我們對主干網(wǎng)絡(luò)的第四個卷積塊的特征圖也進(jìn)行同樣的操作；然后將三個維度大小為7×7×2048的支流特征圖分別進(jìn)行一個池化，將特征變成1×1×2048，分別經(jīng)過全連接層得到大小為1×1×1024的特征圖，通過損失以及網(wǎng)絡(luò)的反向梯度更新來優(yōu)化特征；最后，再分別進(jìn)行SoftMax層對輸出的維度求概率，概率越大表示檢索到對應(yīng)正確ID信息的可能性就越大，并通過查詢集來對網(wǎng)絡(luò)進(jìn)行測試，逐步對網(wǎng)絡(luò)進(jìn)行多次的迭代優(yōu)化，從而找到性能最后的網(wǎng)絡(luò)模型以便后續(xù)的使用；

在整個網(wǎng)絡(luò)的優(yōu)化過程，網(wǎng)絡(luò)逐漸學(xué)習(xí)到不同對象足跡的淺層特征(足跡輪廓)和深層特征(壓力分布)，這個過程可以看作是相關(guān)足跡專家在學(xué)習(xí)足跡知識的一個過程，當(dāng)找到最優(yōu)的網(wǎng)絡(luò)模型時，整個網(wǎng)絡(luò)已經(jīng)具備了足跡專家的“專業(yè)知識”，變成一個機(jī)器人“足跡專家”；此時，該模型具備了能夠快速檢索出足跡信息的能力。

4.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的壓力足跡圖像檢索系統(tǒng)，其特征在于：所述的入庫和檢索功能中的入庫：

在找到最優(yōu)模型并在支持集的作用下可以建立起一個較大的數(shù)據(jù)庫，數(shù)據(jù)庫里存放著不同對象的壓力足跡信息以及相對應(yīng)的ID信息，但是一個更加龐大的數(shù)據(jù)庫會更有利于整個系統(tǒng)性能的提升，所以我們設(shè)計(jì)了一個可進(jìn)行入庫的功能；

當(dāng)已知足跡圖像和對象的ID信息時，我們可以通過最優(yōu)網(wǎng)絡(luò)對足跡圖像進(jìn)行前向推理，生成對應(yīng)的足跡特征，然后將足跡特征以及對應(yīng)的ID信息進(jìn)行入庫；隨著數(shù)據(jù)庫的不斷擴(kuò)大，數(shù)據(jù)庫中的數(shù)據(jù)出現(xiàn)多樣化，使整個系統(tǒng)的性能不斷提高；

檢索：檢索功能是該系統(tǒng)的核心功能；當(dāng)有一張未知ID信息的壓力足跡圖像時，我們迫切的想知道這張腳印的“主人”是誰，這時候只需要要把這張待檢索圖片輸入到最優(yōu)網(wǎng)絡(luò)進(jìn)行簡單的計(jì)算就可以得到對應(yīng)的足跡特征，然年將足跡特征與數(shù)據(jù)庫中的足跡特征一一對比，找出數(shù)據(jù)庫中與待檢索圖片最為相似的前20個對象的足跡特征，并將其對應(yīng)的ID信息進(jìn)行輸出，從而給出檢索的結(jié)果，我們可以通過檢索結(jié)果來進(jìn)一步確認(rèn)待檢索圖像的相關(guān)信息。