[發(fā)明專利]一種飛行員動(dòng)態(tài)手勢(shì)識(shí)別方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202111367322.6
• 申請(qǐng)日: 2021-11-18
• 公開(kāi)（公告）號(hào): CN114038063A
• 公開(kāi)（公告）日: 2022-02-11
• 發(fā)明（設(shè)計(jì)）人: 楊曦中;萬(wàn)華根;姚子羽;裘旭益
• 申請(qǐng)（專利權(quán)）人: 中國(guó)航空無(wú)線電電子研究所
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/764;G06V10/774;G06K9/62
• 代理公司: 中國(guó)航空專利中心 11008
• 代理人: 王迪

本申請(qǐng)?zhí)峁┮环N飛行員動(dòng)態(tài)手勢(shì)識(shí)別方法及裝置，屬于航空人機(jī)交互技術(shù)領(lǐng)域，該方法包括：接收數(shù)據(jù)手套發(fā)送的待識(shí)別動(dòng)態(tài)手勢(shì)的角度數(shù)據(jù)，飛行員手上佩戴有數(shù)據(jù)手套，數(shù)據(jù)手套設(shè)有多個(gè)傳感器，每個(gè)傳感器用于以預(yù)設(shè)頻率采集手指關(guān)節(jié)的角度數(shù)據(jù)；根據(jù)所述待識(shí)別動(dòng)態(tài)手勢(shì)的角度數(shù)據(jù)在預(yù)先建立的各手勢(shì)流曲面模型中檢測(cè)所述待識(shí)別動(dòng)態(tài)手勢(shì)的瞬間手勢(shì)姿態(tài)，當(dāng)在一個(gè)手勢(shì)流曲面模型中檢測(cè)到所述待識(shí)別動(dòng)態(tài)手勢(shì)的瞬間手勢(shì)姿態(tài)時(shí)，確定瞬間手勢(shì)姿態(tài)的起始時(shí)間點(diǎn)；根據(jù)瞬間手勢(shì)姿態(tài)的起始時(shí)間點(diǎn)確定所述待識(shí)別動(dòng)態(tài)手勢(shì)的手勢(shì)類型，具有較快的運(yùn)算速度，識(shí)別準(zhǔn)確率高和易擴(kuò)展，可以實(shí)時(shí)識(shí)別手勢(shì)，用于飛行員動(dòng)態(tài)手勢(shì)識(shí)別。

技術(shù)領(lǐng)域

本申請(qǐng)屬于航空人機(jī)交互技術(shù)領(lǐng)域，尤其涉及一種飛行員動(dòng)態(tài)手勢(shì)識(shí)別方法及裝置。

背景技術(shù)

飛機(jī)操作是一種高度復(fù)雜的任務(wù)，飛行員從進(jìn)入座艙到飛機(jī)起飛，要?dú)v經(jīng)打開(kāi)電源及連接地面電源、開(kāi)啟輔助電力單元、進(jìn)行頂板設(shè)置、檢查導(dǎo)航數(shù)據(jù)庫(kù)、設(shè)置航路、配置起飛的參數(shù)、優(yōu)化設(shè)定燃油系統(tǒng)、滑行及起飛前的最后修正、起飛等步驟，而其中的每一步驟又包含數(shù)個(gè)乃至數(shù)十個(gè)操作。目前，飛行員操縱飛機(jī)基本上都是通過(guò)對(duì)飛機(jī)座艙前面板及頂板物理界面的直接操作來(lái)完成，未來(lái)飛機(jī)座艙界面的研發(fā)中，語(yǔ)音交互、手勢(shì)交互、眼動(dòng)交互已成為熱點(diǎn)研究問(wèn)題。手勢(shì)是人類進(jìn)行信息交流的主要模態(tài)之一，可以源自任何身體運(yùn)動(dòng)或狀態(tài)，例如手部手勢(shì)、足部手勢(shì)、面部手勢(shì)。手勢(shì)識(shí)別的主要目的是通過(guò)數(shù)學(xué)算法來(lái)識(shí)別人類手勢(shì)，它提供了比傳統(tǒng)的文本識(shí)別和圖形識(shí)別更為豐富的模態(tài)，是計(jì)算機(jī)理解人體語(yǔ)言的重要方式。隨著人機(jī)交互技術(shù)、人工智能技術(shù)的快速發(fā)展，手勢(shì)識(shí)別技術(shù)受到許多研究領(lǐng)域與應(yīng)用領(lǐng)域的高度關(guān)注。

飛機(jī)座艙作為一類特殊的作業(yè)環(huán)境，對(duì)現(xiàn)有的手勢(shì)識(shí)別技術(shù)提出了嚴(yán)峻挑戰(zhàn)。座艙環(huán)境相對(duì)狹小，實(shí)際飛行作業(yè)時(shí)光線變化大，嚴(yán)重限制了基于光學(xué)傳感的手勢(shì)識(shí)別技術(shù)的應(yīng)用。而且飛行員實(shí)際作業(yè)任務(wù)場(chǎng)景多，許多任務(wù)需要飛行員利用手去進(jìn)行精細(xì)操作。因此，具有實(shí)時(shí)性、準(zhǔn)確性和易擴(kuò)展性的手勢(shì)識(shí)別技術(shù)是飛機(jī)座艙中落實(shí)飛行員手勢(shì)識(shí)別的關(guān)鍵技術(shù)。

發(fā)明內(nèi)容

為了解決相關(guān)技術(shù)中飛行員手勢(shì)識(shí)別的問(wèn)題，本申請(qǐng)?zhí)峁┮环N飛行員動(dòng)態(tài)手勢(shì)識(shí)別方法及裝置，所述技術(shù)方案如下：

第一方面，提供一種飛行員動(dòng)態(tài)手勢(shì)識(shí)別方法，所述方法包括：

接收數(shù)據(jù)手套發(fā)送的待識(shí)別動(dòng)態(tài)手勢(shì)的角度數(shù)據(jù)，飛行員手上佩戴有數(shù)據(jù)手套，數(shù)據(jù)手套設(shè)有多個(gè)傳感器，每個(gè)傳感器用于以預(yù)設(shè)頻率采集手指關(guān)節(jié)的角度數(shù)據(jù)；

根據(jù)所述待識(shí)別動(dòng)態(tài)手勢(shì)的角度數(shù)據(jù)在預(yù)先建立的各手勢(shì)流曲面模型中檢測(cè)所述待識(shí)別動(dòng)態(tài)手勢(shì)的瞬間手勢(shì)姿態(tài)，當(dāng)在一個(gè)手勢(shì)流曲面模型中檢測(cè)到所述待識(shí)別動(dòng)態(tài)手勢(shì)的瞬間手勢(shì)姿態(tài)時(shí)，確定瞬間手勢(shì)姿態(tài)的起始時(shí)間點(diǎn)；

根據(jù)瞬間手勢(shì)姿態(tài)的起始時(shí)間點(diǎn)確定所述待識(shí)別動(dòng)態(tài)手勢(shì)的手勢(shì)類型。

進(jìn)一步地，所述方法還包括：

接收所述數(shù)據(jù)手套發(fā)送的各指定動(dòng)態(tài)手勢(shì)的角度數(shù)據(jù)；

基于各指定動(dòng)態(tài)手勢(shì)的角度數(shù)據(jù)建立對(duì)應(yīng)指定動(dòng)態(tài)手勢(shì)的手勢(shì)流曲面模型。

其中，所述基于各指定動(dòng)態(tài)手勢(shì)的角度數(shù)據(jù)建立對(duì)應(yīng)指定動(dòng)態(tài)手勢(shì)的手勢(shì)流曲面模型，包括：

建立三維坐標(biāo)系，將三維坐標(biāo)系中的x軸設(shè)置時(shí)間，y軸設(shè)置為角度數(shù)據(jù)編號(hào)，z軸設(shè)置為角度數(shù)據(jù)的大小，x軸指示的是維度方向，y軸指示的是經(jīng)度方向；

將建立的三維坐標(biāo)系作為指定動(dòng)態(tài)手勢(shì)的手勢(shì)流曲面模型。

進(jìn)一步地，在所述接收數(shù)據(jù)手套發(fā)送的各指定動(dòng)態(tài)手勢(shì)的角度數(shù)據(jù)之后，所述方法還包括：

對(duì)各指定動(dòng)態(tài)手勢(shì)的角度數(shù)據(jù)進(jìn)行歸一化處理。