[發(fā)明專利]一種基于ZYNQ軟硬件協(xié)同處理的手勢識別系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202010368104.3
• 申請日: 2020-04-30
• 公開（公告）號: CN111665934A
• 公開（公告）日: 2020-09-15
• 發(fā)明（設(shè)計(jì)）人: 鄧立為;戚靜靜;胡杰;李敬遠(yuǎn)
• 申請（專利權(quán)）人: 哈爾濱理工大學(xué)
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06K9/34;G06K9/62
• 代理公司: 哈爾濱市陽光惠遠(yuǎn)知識產(chǎn)權(quán)代理有限公司 23211
• 代理人: 孫莉莉

本發(fā)明提出一種基于ZYNQ軟硬件協(xié)同處理的手勢識別系統(tǒng)及方法，所述系統(tǒng)包括：圖像預(yù)處理模塊、手勢分割模塊、特征提取模塊、手勢識別模塊、手勢識別應(yīng)用及界面顯示模塊和數(shù)據(jù)通路模塊。其中，圖像預(yù)處理模塊和數(shù)據(jù)通路模塊由PL部分實(shí)現(xiàn)，其他四個(gè)模塊由PS部分實(shí)現(xiàn)。所述手勢識別方法把需要處理的手勢從復(fù)雜的背景中分割出來，之后基于動(dòng)態(tài)時(shí)間規(guī)整模型識別方法進(jìn)行動(dòng)態(tài)手勢的特征提取與手勢識別。本發(fā)明提供的手勢識別系統(tǒng)及方法能夠根據(jù)用戶的手勢確定用戶的控制命令并進(jìn)行對應(yīng)的操作，從而減少系統(tǒng)與用戶進(jìn)行交互時(shí)的操作步驟的復(fù)雜度，具有實(shí)時(shí)性較好、處理能力較快的效果，改善用戶的交互體驗(yàn)。

技術(shù)領(lǐng)域

本發(fā)明屬于手勢識別技術(shù)領(lǐng)域，特別是涉及一種基于ZYNQ軟硬件協(xié)同處理的手勢識別系統(tǒng)及方法。

背景技術(shù)

隨著社會的快速發(fā)展與進(jìn)步，人機(jī)交互逐漸成為日常生活中的重要組成部分，人們對于人機(jī)交互的便捷性、高效性的要求也越來越髙。而傳統(tǒng)的基于鍵盤、鼠標(biāo)的交互方式已顯示出其局限性，新的人機(jī)交互需要提供給人們更好的便攜性、多樣性，其目的是希望人與計(jì)算機(jī)之間的交互能夠像人與人之間的交流那樣便捷、自然。因此，符合人際交流習(xí)慣的新式人機(jī)交互技術(shù)逐漸受到人們的重視。

新的人機(jī)交互己從以設(shè)備為主轉(zhuǎn)換到以人為主。當(dāng)前的新式人機(jī)交互主要是基于觸覺、聽覺和視覺，其中，基于觸覺的觸摸屏技術(shù)和基于聽覺的語音識別技術(shù)己經(jīng)非常成熟，并且已大范圍應(yīng)用于手機(jī)、計(jì)算機(jī)、車載等設(shè)備中。而基于視覺的人機(jī)交互技術(shù)仍處于發(fā)展中，特別是手勢識別，逐漸成為人機(jī)交互領(lǐng)域和計(jì)算機(jī)視覺領(lǐng)域的一個(gè)研究熱點(diǎn)。

手勢作為一種直觀的的輸入方式，可以使人們擺脫鍵盤、鼠標(biāo)等設(shè)備的限制，將人的手勢直接作為輸入設(shè)備，利用手勢識別技術(shù)對計(jì)算機(jī)及其他設(shè)備進(jìn)行控制，省去了中間媒介，增強(qiáng)了人機(jī)交互的自然性和便捷性。手勢的運(yùn)動(dòng)和變化非常靈活，相比較其它的交互方式，將手勢用來與計(jì)算機(jī)交互，將獲得更加便捷、直接和內(nèi)容豐富的用戶體驗(yàn)。

目前，盡管手勢識別技術(shù)還不完全成熟，但是它在人們的日常生活、學(xué)習(xí)和工作中，正在發(fā)揮著越來越重要的作用。相對于在PC機(jī)上實(shí)現(xiàn)的手勢識別系統(tǒng)，基于嵌入式系統(tǒng)的手勢識別具有更靈活，應(yīng)巧更廣泛的優(yōu)勢。

目前的嵌入式系統(tǒng)大多基于ARM，F(xiàn)PGA等單一平臺，ARM可以較方便的搭建嵌入式系統(tǒng)，但當(dāng)處理復(fù)雜算法時(shí)，其運(yùn)行速度將受到很大影響。FPGA的并行運(yùn)算能力很強(qiáng)，邏輯資源很豐富，但在進(jìn)行復(fù)雜、龐大的算法方面沒有優(yōu)勢。對于手勢識別這類算法復(fù)雜，計(jì)算量龐大，實(shí)時(shí)性也有很高要求的系統(tǒng)，以上單一平臺都無法承擔(dān)所有要求。因此，融合多種硬件平臺的ZYNQ平臺就是基于FPGA+ARM架構(gòu)，它將兩者的優(yōu)勢結(jié)合到一起，可實(shí)現(xiàn)復(fù)雜、運(yùn)算量大的算法，同時(shí)保證系統(tǒng)滿足實(shí)時(shí)性要求，還可使系統(tǒng)更加靈活，應(yīng)用更加廣泛。

發(fā)明內(nèi)容

本發(fā)明目的是針對現(xiàn)有技術(shù)中手勢識別方法處理速度較慢、實(shí)時(shí)性與處理能力較差、系統(tǒng)功耗較大、影響用戶體驗(yàn)的技術(shù)問題，提出了一種基于ZYNQ軟硬件協(xié)同處理的手勢識別系統(tǒng)及方法。

本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明提出一種基于ZYNQ軟硬件協(xié)同處理的手勢識別系統(tǒng)，所述ZYNQ的主處理器包含處理器系統(tǒng)PS與可編程邏輯PL，兩者采用AXI工業(yè)標(biāo)準(zhǔn)的接口，從而在芯片的兩個(gè)部分之間實(shí)現(xiàn)互聯(lián)的異構(gòu)架構(gòu)；所述系統(tǒng)包括圖像預(yù)處理模塊、手勢分割模塊、特征提取模塊、手勢識別模塊、手勢識別應(yīng)用及界面顯示模塊和數(shù)據(jù)通路模塊；其中，所述圖像預(yù)處理模塊和數(shù)據(jù)通路模塊由PL部分實(shí)現(xiàn)，所述手勢分割模塊、特征提取模塊、手勢識別模塊和手勢識別應(yīng)用及界面顯示模塊由PS部分實(shí)現(xiàn)；

所述圖像預(yù)處理模塊用于將攝像頭采集的RGB圖像進(jìn)行顏色空間轉(zhuǎn)換，并依據(jù)此顏色空間對手勢圖像進(jìn)行初步提取，之后對初步提取到的手勢圖像進(jìn)行濾波和形態(tài)學(xué)處理；

所述手勢分割模塊用于將預(yù)處理后的手勢圖像進(jìn)行類膚色干擾的去除，所述類膚色干擾包括靜態(tài)的類膚色背景干擾和動(dòng)態(tài)的人臉、手臂干擾；