[發明專利]一種基于深度學習的書本點讀方法及系統

在審

• 申請號: 202010116650.8
• 申請日: 2020-02-25
• 公開（公告）號: CN111353501A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 黃煒恒;張俊怡;羅丹;陳添水;陳崇雨
• 申請（專利權）人: 暗物智能科技(廣州)有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06N3/04;G06N3/08;G09B5/06
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 張琳琳

本發明公開了一種基于深度學習的書本點讀方法及系統，方法包括：將獲取的圖像采集裝置拍攝的手指點讀圖像同時輸入手指檢測模型及文字檢測模型，分別檢測指尖位置及圖像中所有的文字區域；結合檢測的指尖位置和文字區域，對文字區域進行仿射變換及切割；將切割后的文字區域輸入文字識別模型識別文字信息；利用標點或分段符信息對文字信息進行斷句或分段處理；根據預設點讀需求語音輸出單字、單詞、句子或文本段。本發明通過圖像采集裝置拍攝手指點讀圖像，提高了點讀內容的擴展性；訓練手指檢測模型、文本檢測模型及文本識別模型，實現了針對于單個漢字、單詞、句子及文本段的點讀，簡化了傳統點讀檢測與識別方法，提高了文字檢測與識別的精準度。

技術領域

本發明涉及書本點讀技術領域，具體涉及一種基于深度學習的書本點讀方法及系統。

背景技術

近年來，隨著計算機視覺和深度學習的迅速發展，拍照識字、拍照搜題、點讀輔學等技術廣泛應用在了智能教育當中。其中，點讀機是一種流行的助學工具，其利用手指檢測功能及文字檢測功能，感知使用者手指所指向內容所在的位置，便可根據該位置識別出位置所在區域的文字信息內容，從而完成人機交互的過程。而現有技術中的點讀機具有以下缺點：第一，需要用手勢對文字區域劃矩形確定點讀區域，操作繁瑣；第二，對于手勢劃出來的矩形區域的識別是基于膚色分割算法等傳統的圖像處理算法來做的，易受環境干擾，且在具有相對復雜內容場景下的圖像識別局限性太大；第三，對于基于點讀筆結合電子設備來進行點讀的方法，該類方法必須要將先點讀的書本錄入進電子設備，且其通過顏色空間的變化，二值化、邊緣檢測、角點檢測等算法，確定點讀筆和書本邊緣的位置，再匹配錄入好的書本內容進行點讀，從而導致學習內容固定，擴展性小，圖像文字識別準確性差。

發明內容

因此，本發明要解決的技術問題在于克服現有技術中的操作繁瑣、圖像文字識別固定及準確性差的缺陷，從而提供一種基于深度學習的書本點讀方法及系統。

為達到上述目的，本發明提供如下技術方案：

第一方面，本發明實施例提供一種基于深度學習的書本點讀方法，包括：獲取圖像采集裝置拍攝的手指點讀圖像；將手指點讀圖像同時輸入手指檢測模型及文字檢測模型，分別檢測指尖位置及圖像中所有的文字區域；結合檢測的指尖位置和文字區域，對文字區域進行仿射變換，將文字區域進行切割；將切割后的文字區域輸入文字識別模型，識別出文字信息；利用標點或分段符信息對文字信息進行斷句或分段處理；根據用戶預設的點讀需求，語音輸出單個漢字、單詞、句子或文本段。

在一實施例中，獲取圖像采集裝置拍攝的手指點讀圖像的步驟之前，還包括：預先獲取圖像采集裝置拍攝的需要識別的書本圖像；將拍攝的手指點讀圖像與預先獲取的需要識別的書本圖像進行比對，獲取手部遮蓋的書本圖像的內容。

在一實施例中，將手指點讀圖像輸入手指檢測模型進行檢測指尖位置的步驟，包括：采集手指在書本上點讀的圖像數據，對指尖區域進行標注，用標注后的數據集訓練手指檢測模型；將手指點讀圖像輸入訓練好的手指檢測模型，輸出置信度最高的預測框，根據該預測框四個點的坐標，計算出手指指向的位置坐標。

在一實施例中，將手指點讀圖像輸入文字檢測模型進行檢測文字區域的步驟，包括：采集書本的圖像數據，對圖像中文字區域的位置和內容進行標注，將標注后的數據集訓練文字檢測模型；將手指點讀圖像輸入訓練好的文字檢測模型，輸出多個傾斜框和對應的置信度，每一個傾斜框代表一個文字區域。

在一實施例中，當用戶的點讀需求為讀字時，將距離手指指向坐標點最近的字或單詞，確認為目標點讀的內容。

在一實施例中，當用戶的點讀需求為讀句時，從上到下組合多個文字框的文字內容，根據標點符號確定句子的開始和結束位置，確定讀句的點讀內容。

在一實施例中，當用戶的點讀需求為讀段時，從上到下組合多個文字框的文字內容，根據分段符號確定句子的開始和結束位置，確定文本段的點讀內容。