[發(fā)明專利]一種紐扣式人機(jī)交互裝置及方法

在審

• 申請?zhí)枺?/td>: 202110499397.3
• 申請日: 2021-05-08
• 公開（公告）號: CN113312984A
• 公開（公告）日: 2021-08-27
• 發(fā)明（設(shè)計）人: 謝艷梅;牛彤;楊飛;左龍;葛晨陽
• 申請（專利權(quán)）人: 寧波盈芯信息科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N20/00
• 代理公司: 北京前審知識產(chǎn)權(quán)代理有限公司 11760
• 代理人: 張波濤;尹秀峰

1.一種紐扣式人機(jī)交互裝置，包括：

圖像采集模塊、圖像處理模塊、SPI Flash數(shù)據(jù)存儲模塊、按鍵控制模塊和交互執(zhí)行模塊；其中，

所述圖像采集模塊包括紅外攝像頭和泛光燈，用于采集紅外圖像；

所述圖像處理模塊包括NPU和驅(qū)動程序，用于對采集到的紅外圖像進(jìn)行處理，得到人臉、表情、手勢的特征數(shù)據(jù)；

所述SPI Flash數(shù)據(jù)存儲模塊用于預(yù)先存儲所述特征數(shù)據(jù)和與之對應(yīng)的id；

所述按鍵控制模塊通過按鍵給圖像處理模塊發(fā)送命令，實(shí)現(xiàn)人臉、表情及手勢特征的錄入、刪除和識別；

所述交互執(zhí)行模塊包括人機(jī)交互終端設(shè)備，用于實(shí)時采集紅外圖像，經(jīng)所述圖像處理模塊提取特征數(shù)據(jù)后與所述SPI Flash數(shù)據(jù)存儲模塊中存儲的特征數(shù)據(jù)進(jìn)行比對，比對成功則對人機(jī)交互終端設(shè)備執(zhí)行相應(yīng)的動作。

2.根據(jù)權(quán)利要求1所述的裝置，優(yōu)選的，所述裝置采用紐扣式圓形設(shè)計。

3.根據(jù)權(quán)利要求1所述的裝置，NPU發(fā)送信號給驅(qū)動程序，驅(qū)動程序通過I2C控制紅外攝像頭，紅外攝像頭給泛光燈發(fā)送STROBE信號，泛光燈被點(diǎn)亮，此時采集紅外圖像，紅外攝像頭通過MIPI協(xié)議將采集的紅外圖像傳輸給NPU。

4.根據(jù)權(quán)利要求1所述的裝置，所述圖像處理模塊對采集到的紅外圖像進(jìn)行處理具體包括：

S100：通過多個深度學(xué)習(xí)網(wǎng)絡(luò)在紅外圖像中檢測人臉、表情、手勢的圖像；

S200：對檢測到的圖像做活體檢測，判斷是否為活體；

S300：如果判定為活體，分別提取人臉、表情、手勢的特征數(shù)據(jù)，并為其分配id；

S400：如果是錄入命令，NPU給SPI Flash數(shù)據(jù)存儲模塊發(fā)送信號，將所述特征數(shù)據(jù)及id存儲到SPI Flash數(shù)據(jù)存儲模塊；如果是識別命令，將所述特征數(shù)據(jù)分別與SPI Flash數(shù)據(jù)存儲模塊預(yù)先存儲的人臉、表情、手勢的特征數(shù)據(jù)進(jìn)行比對，如三種特征都比對成功，則認(rèn)為本次識別成功；如果是刪除命令，NPU給SPI Flash數(shù)據(jù)存儲模塊發(fā)送信號，刪除SPIFlash數(shù)據(jù)存儲模塊中的指定id的特征數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的裝置，所述活體檢測是通過深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行的。

6.一種紐扣式人機(jī)交互方法，包括如下步驟：

對采集到的紅外圖像按照按鍵控制模塊發(fā)送的命令進(jìn)行相應(yīng)的處理，得到人臉、表情、手勢的特征數(shù)據(jù)；

將所述特征數(shù)據(jù)和與之對應(yīng)的id預(yù)先存儲在SPI Flash數(shù)據(jù)存儲模塊中；

提取實(shí)時采集紅外圖像的特征數(shù)據(jù)后與所述SPI Flash數(shù)據(jù)存儲模塊中存儲的特征數(shù)據(jù)進(jìn)行比對，比對成功則對人機(jī)交互終端設(shè)備執(zhí)行相應(yīng)的動作。

7.根據(jù)權(quán)利要求6所述的方法，所述進(jìn)行相應(yīng)的處理具體包括：

S100：通過多個深度學(xué)習(xí)網(wǎng)絡(luò)在紅外圖像中檢測人臉、表情、手勢的圖像；

S200：對檢測到的圖像做活體檢測，判斷是否為活體；

S300：如果判定為活體，分別提取人臉、表情、手勢的特征數(shù)據(jù)，并為其分配id；

S400：如果接收到錄入命令，NPU給SPI Flash數(shù)據(jù)存儲模塊發(fā)送信號，將所述特征數(shù)據(jù)及id存儲到SPI Flash數(shù)據(jù)存儲模塊；如果接收到識別命令，將所述特征數(shù)據(jù)分別與SPIFlash數(shù)據(jù)存儲模塊預(yù)先存儲的人臉、表情、手勢的特征數(shù)據(jù)進(jìn)行比對，如三種特征都比對成功，則認(rèn)為本次識別成功；如果接收到刪除命令，NPU給SPI Flash數(shù)據(jù)存儲模塊發(fā)送信號，刪除SPI Flash數(shù)據(jù)存儲模塊中的指定id的特征數(shù)據(jù)。

8.根據(jù)權(quán)利要求7所述的方法，所述活體檢測是通過深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行的。