[發明專利]一種基于手勢識別的交互式點讀系統

在審

• 申請號: 202011620981.1
• 申請日: 2020-12-30
• 公開（公告）號: CN112749646A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 黃堅;李慧敏
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/02;G06F3/01
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗;鄧治平

1.一種基于手勢識別的交互式點讀系統，其特征在于，所述系統包括以下模塊：攝像頭、圖像預處理模塊、手勢識別模塊、圖像識別模塊、集成模塊、翻譯模塊、語音模塊，所述攝像頭與圖像預處理模塊相連接，圖像預處理模塊與手勢識別模塊、圖像識別模塊相連接，手勢識別模塊與集成模塊相連接，圖像識別模塊與集成模塊相連接，集成模塊與翻譯模塊相連接、翻譯模塊與語音模塊相連接。

所述攝像頭用于實時采集圖像；

所述圖像預處理模塊用于對上述圖像進行預處理；

所述手勢識別模塊用于對預處理過的圖像進行識別，該模塊接收圖像預處理模塊的輸入圖像，用手勢識別網絡對圖像作分割，對圖像中的每個像素點進行分類，確定每個像素點的類別，從而獲取手部分割圖，根據獲取到的手部分割圖，進行手勢分類，實現手勢識別，對于不同的手勢進行不同的后續處理；

所述圖像識別模塊，用于對待識別的對象進行檢測定位，該模塊接收圖像預處理模塊輸出的圖像，利用圖像識別算法檢測圖像中的對象返回圖像中待識別對象的邊界框與標簽信息(含對象類別信息)，傳入集成模塊；

所述集成模塊，接收手勢識別模塊與圖像識別模塊的輸入，根據手勢識別結果與圖像識別結果進行匹配，完成手勢識別結果與圖像識別定位邊界框的雙向匹配過程，輸出檢測對象的標簽信息，傳入翻譯模塊完成后續處理，實現點讀功能；

所述翻譯模塊：用于將檢集成模塊返回的標簽信息翻譯成不同的語言，以滿足不同的需求；

所述語音模塊：將翻譯模塊的結果進行朗讀。

2.根據權利要求1所述的基于手勢識別的交互式點讀系統，其特征在于：所述圖像預處理模塊，用于將攝像頭采集的圖像作必要的預處理，包括：圖像去噪、圖像縮放，根據實驗結果，去噪可以提升手勢識別時分類的準確率；同時，對圖像進行不同程度的縮放可以改變手勢識別網絡的訓練、識別時間。

3.根據權利要求1所述基于手勢識別的交互式點讀系統，其特征在于：所述手勢識別模塊，用于實現手勢識別，進而實現后續的處理，該模塊接收圖像預處理模塊的輸出圖像，用手勢識別網絡對圖像作分割，對圖像中的每個像素點進行分類，確定每個像素點的類別，從而獲取手部分割圖，根據獲取到的手部分割圖，進行手勢分類，實現手勢識別，對于不同的手勢識別結果進行不同的后續處理，具體地，包括以下步驟：

(1)將圖像處理模塊傳入的圖像輸入到手勢識別網絡中，對圖像中的每個像素點進行分類，確定每個像素點的類別，從而獲取手部分割圖；

(2)對(1)中的手部分割圖，進行分類，根據手部區域輪廓的幾何形狀識別出不同的手勢；

(3)用(2)中識別出的手勢，進行后續的處理；此處，列舉幾種不同的手勢進行說明，若手勢識別的結果是：

1)單指尖點讀手勢，則根據手勢的幾何形狀，近似計算出手勢形狀輪廓的質心，根據質心坐標與單指尖點讀手勢的幾何特性求出手指指尖的坐標；

2)若手勢識別的結果是攝像頭暫停/采集控制手勢，則根據識別結果控制攝像頭的暫停/采集；

3)多指尖匹配手勢，則根據手勢的幾何形狀與權利要求1中的圖像識別模塊的結果進行相應的匹配實現后續的流程處理；

4)其他手勢，根據手勢結果，進行不同的處理。

4.根據權利要求1所述的基于手勢識別的交互式點讀系統，其特征在于：所述圖像識別模塊用于處理圖像預處理模塊的輸出，檢測圖像中的對象，將檢測得到的邊界框與標簽信息傳入后續集成模塊；此處將圖像預處理模塊與圖像識別模塊相連接的目的是解決圖像識別過程中手勢對圖像識別模塊可能存在的干擾。

5.根據權利要求1所述的基于手勢識別的交互式點讀系統，其特征在于：所述集成模塊用于接收手勢控制模塊輸出的手勢識別結果、以及圖像識別模塊返回的對象的標簽信息與邊界框，根據手勢識別模塊的手勢識別結果，與圖像識別模塊的邊界框作匹配，若指尖坐標與檢測對象的邊界框匹配成功，則輸出檢測對象的標簽信息到翻譯模塊，若指尖坐標與邊界框不匹配，則進一步的提示說明信息。

6.根據權利要求1所述的基于手勢識別的交互式點讀系統，其特征在于：所述翻譯模塊、語音模塊均調用開源庫。