[發明專利]一種基于手勢識別的交互式點讀系統

在審

• 申請號: 202011620981.1
• 申請日: 2020-12-30
• 公開（公告）號: CN112749646A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 黃堅;李慧敏
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/02;G06F3/01
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗;鄧治平

本發明提供了一種基于手勢識別的交互式點讀系統，系統將攝像頭實時采集到的圖像作為輸入，對輸入圖像進行預處理，用手勢識別網絡對包含手部的目標圖像進行手勢識別，首先用手勢識別網絡對圖像中的每個像素點進行分類，確定每個像素點的類別，從而獲取手部分割圖，根據獲取到的手部分割圖，進行手勢分類，實現手勢識別；將預處理之后的圖像傳入圖像識別模塊，檢測出待識別對象的邊界框，再根據手勢識別的結果與邊界框進行匹配，根據匹配結果進行翻譯、語音朗讀處理，從而實現點讀功能。本系統通過手勢識別網絡實現手勢識別，進而實現交互式的點讀功能，擺脫了傳統點讀算法對點讀工具的依賴，以及現有交互式點讀系統對識別對象的約束限制。

技術領域

本發明涉及手勢識別、手指指尖檢測、目標檢測、文字檢測、識別、手勢分割，屬于人工智能領域，具體涉及一種基于手勢識別的交互式點讀系統。

背景技術

隨著科學技術的不斷發展，智能教育逐漸推廣，例如文本點讀筆、點讀機等等已經取得了廣泛的應用，目前常見的幾種交互式的點讀系統，依賴點讀設備(例如點讀機、點讀筆)，這些系統利用點讀設備直接提取所需文本，再對文本做必要的處理，從而實現點讀功能；也有的系統利用在手指指尖佩戴一些特殊的感應材料，進而識別出手指指尖；也有的使用人工智能的方法迭代式的檢測指尖位置，進而識別文本，例如申請號為201910837914.6的專利，則是使用人工智能的方法，搭建手指特征識別神經網絡識別指尖，該方法僅僅識別指尖位置和指尖前方區域的文字；公告號為CN109325464A的中國專利，公開了一種基于人工智能的文字識別方法，發明了利用純深度學習算法來實現手指點讀，實現了快速的文本識別和查單詞的流程，整個流程耗時不超過300ms，極大地改進了點讀的效率。也有的通過手部關鍵點輔助實現手指指尖檢測，上述方法均存在不同程度的下述限制：

第一，專用識別設備的依賴問題；

第二，識別對象的約束限制，即有的交互式點讀系統僅僅能識別文字，而對于非文本對象則無法識別；

第三，識別文字過程中的，存在一定程度的識別二義性：如，有了指尖的位置信息之后，如何根據指尖位置提取出指尖所指的文本信息，且如何確定文本間的信息關聯，指尖所指位置是指這一個文字，還是一個詞語，還是一段文字；若文字大小不同又該如何處理，等等；

第四，交互式點讀的語義不夠豐富，現有系統僅僅能夠實現文字點讀，無法實現智能化的人機交互，不能滿足人們對智能化的需求。

發明內容

本發明技術解決問題：在不同程度上克服或者解決上述背景技術中描述的現有技術的約束限制，提供一種基于手勢識別的交互式點讀系統，用于實現交互式的點讀功能以滿足人們對智能化的需求。

系統將攝像頭實時采集到的圖像作為輸入，對輸入圖像進行預處理，用手勢識別網絡對圖像進行手勢識別，首先手勢識別網絡對圖像中的每個像素點進行分類，確定每個像素點的類別，從而獲取手部分割圖，根據獲取到的手部分割圖中的手的區域的幾何形狀，進行手勢分類，實現手勢識別；依據圖像識別模塊檢測出的待識別對象的邊界框，再對檢測對象邊界框與手勢識別的結果匹配，根據匹配結果進行翻譯、語音朗讀處理，從而實現點讀功能。

要解決的技術問題：在于克服現有技術中手勢、手指指尖識別依賴識別設備的弊端，實現智能化的交互，滿足用戶對智能化的需求。

技術解決方案：一種基于手勢識別的交互式點讀系統，其特征在于，所述系統包括以下模塊：攝像頭、圖像預處理模塊、手勢識別模塊、圖像識別模塊、集成模塊、翻譯模塊、語音模塊，所述攝像頭與圖像預處理模塊相連接，圖像預處理模塊與手勢識別模塊、圖像識別模塊各自相連接，手勢識別模塊與集成模塊相連接，圖像識別模塊與集成模塊相連接，集成模塊與翻譯模塊相連接、翻譯模塊與語音模塊相連接。

所述攝像頭用于實時采集圖像；

所述圖像預處理模塊用于對上述圖像進行預處理；