[發明專利]一種基于人工智能的手指點讀文字識別方法及翻譯方法

在審

• 申請號: 201811205785.0
• 申請日: 2018-10-16
• 公開（公告）號: CN109325464A
• 公開（公告）日: 2019-02-12
• 發明（設計）人: 張哲
• 申請（專利權）人: 上海翎騰智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/20;G06K9/32;G06N3/04;G06F17/28
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

一種基于人工智能的手指點讀文字識別方法及翻譯方法，其識別方法，包括：(1)分別構建并訓練各神經網絡；(2)采集裝置實時采集預檢測區域的當前圖像，將所述圖像連續輸入預先訓練的手指定位神經網絡，獲知手指點擊狀態下的手指位置信息；(3)以用戶手指位置為中心，截取方框區域圖像，輸入所述角度識別神經網絡，輸出圖像區域中文本的旋轉角度；(4)以用戶手指位置為中心，旋轉所述旋轉角度截取方框區域圖像，輸出檢測到的文字區域的位置信息和尺寸信息；(5)截取對應的圖像，輸入所述OCR識別神經網絡，輸出已識別的文字內容。本發明不僅提升識別的效率而且也使得實現識別的人工智能。

技術領域

本發明涉及一種智能識別領域，尤其涉及一種基于人工智能的手指點讀文字識別方法及其翻譯方法。

背景技術

外文翻譯是外語學習中的重要環節，現有的工具(包括紙質字典、電子辭典、手機查詞app)都需要人為手動輸入文字，效率較低。深度學習和大數據的發展大大提升了人工智能方法在圖像識別、手勢識別和文字識別的性能。通過人工智能的方法將手勢識別和文字識別等技術應用到文本識別和外文翻譯，能夠很大程度提高人們的學習和閱讀效率。

山東音為愛智能科技有限公司在201810326362.8公開了一種基于人工智能的兒童繪本輔助閱讀方法，包括：逐頁拍攝書頁圖像，制作書頁圖像模板，保存書頁圖像特征；通過攝像頭拍攝書頁圖像，提取書頁圖像的紋理特征，與模板進行匹配，判斷書頁頁碼；根據書頁頁碼載入當前頁面上的點讀資源，點讀資源包括繪本中的人物形象及其對應的音頻故事和問答資源；檢測動態手勢的關鍵圖像幀，拋棄模糊不清晰的手勢圖像幀；通過攝像頭拍攝視頻幀圖像，檢測兒童手指指向的點讀資源處，則播放對應人物的故事；進入語音問答環節，根據當前頁的內容匹配知識庫中的問題，主動與兒童會話。上述方法可提供繪本的點讀和問答，提高兒童學習興趣和效率，能夠在教學條件不足的場合，輔助兒童自行進行繪本閱讀。

但是，該項目雖然從原理上可以實現輔助兒童自行進行繪本閱讀，但是，“用攝像機拍攝桌面場景，追蹤桌面上的手的動作，比如手指的直線滑動，畫圖，手指伸出的個數，點擊及拍擊行為，用Al算法識別手勢的意圖”，達到上述效果采用的技術復雜、成本高、不具有可推廣性，并且用Al算法識別的手勢過多后，出錯率非常高。

東南大學在201711392384.6公開了一種基于卷積變分自編碼器神經網絡的手指靜脈識別方法及系統，該系統包括圖像采集模塊、圖像預處理模塊、圖像特征提取模塊、圖像訓練模塊和圖像識別模塊；識別方法包括獲取待識別用戶的手指靜脈圖像；對手指靜脈圖像信息進行圖像預處理，提取手指靜脈感興趣區域(ROI)圖像；通過卷積變分自編碼器神經網絡提取所述手指靜脈感興趣區域中的手指靜脈特征編碼；將特征編碼輸入到一個全連接網絡中進行識別處理，識別所述待識別用戶的身份信息。本發明能夠有效地提取手指靜脈特征，提高了對噪聲的冗余性，明顯改善手指靜脈識別系統的識別精度。這種方法僅僅是用于提升識別手指的精度，并不能獲知其手指的運動區域，更無法獲知運動區域做為識別區域，有方案給出其識別區域如何進行信息解讀。

因此，現有技術中實現手指點讀文字識別是通過采集裝置獲得圖像，再對圖像進行分割獲得特征點再做比對，整個識別的效率非常低，費時長。

發明內容

本發明的目的在于提供一種基于人工智能的手指點讀文字識別方法，以解決現有技術中手指點讀文字識別速度慢、效率低的技術問題。

一種基于人工智能的手指點讀文字識別方法，其特征在于，包括以下步驟：

(1)分別構建并訓練手指定位神經網絡、文本角度神經網絡、文本檢測神經網絡和OCR識別神經網絡；

(2)采集裝置實時采集預檢測區域的當前圖像，將所述圖像連續輸入預先訓練的手指定位神經網絡，獲知手指點擊狀態下的手指位置信息，并且在該過程中所述當前圖像壓縮至尋找手指的預設低像素分辨率的特征圖像；