[發明專利]一種基于深度學習的書本點讀方法及系統

在審

• 申請號: 202010116650.8
• 申請日: 2020-02-25
• 公開（公告）號: CN111353501A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 黃煒恒;張俊怡;羅丹;陳添水;陳崇雨
• 申請（專利權）人: 暗物智能科技(廣州)有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06N3/04;G06N3/08;G09B5/06
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 張琳琳

1.一種基于深度學習的書本點讀方法，其特征在于，包括：

獲取圖像采集裝置拍攝的手指點讀圖像；

將所述手指點讀圖像同時輸入手指檢測模型及文字檢測模型，分別檢測指尖位置及圖像中所有的文字區域；

結合檢測的指尖位置和文字區域，對文字區域進行仿射變換，將文字區域進行切割；

將切割后的文字區域輸入文字識別模型，識別出文字信息；

利用標點或分段符信息對所述文字信息進行斷句或分段處理；

根據用戶預設的點讀需求，語音輸出單個漢字、單詞、句子或文本段。

2.根據權利要求1所述的基于深度學習的書本點讀方法，其特征在于，所述獲取圖像采集裝置拍攝的手指點讀圖像的步驟之前，還包括：

預先獲取圖像采集裝置拍攝的需要識別的書本圖像；

將拍攝的手指點讀圖像與預先獲取的需要識別的書本圖像進行比對，獲取手部遮蓋的書本圖像的內容。

3.根據權利要求1或2所述的基于深度學習的書本點讀方法，其特征在于，將所述手指點讀圖像輸入手指檢測模型進行檢測指尖位置的步驟，包括：

采集手指在書本上點讀的圖像數據，對指尖區域進行標注，用標注后的數據集訓練手指檢測模型；

將手指點讀圖像輸入訓練好的手指檢測模型，輸出置信度最高的預測框，根據該預測框四個點的坐標，計算出手指指向的位置坐標。

4.根據權利要求1或2所述的基于深度學習的書本點讀方法，其特征在于，將所述手指點讀圖像輸入文字檢測模型進行檢測文字區域的步驟，包括：

采集書本的圖像數據，對圖像中文字區域的位置和內容進行標注，將標注后的數據集訓練文字檢測模型；

將手指點讀圖像輸入訓練好的文字檢測模型，輸出多個傾斜框和對應的置信度，每一個傾斜框代表一個文字區域。

5.根據權利要求1或2所述的基于深度學習的書本點讀方法，其特征在于，當用戶的點讀需求為讀字時，將距離手指指向坐標點最近的字或單詞，確認為目標點讀的內容。

6.根據權利要求1或2所述的基于深度學習的書本點讀方法，其特征在于，當用戶的點讀需求為讀句時，從上到下組合多個文字框的文字內容，根據標點符號確定句子的開始和結束位置，確定讀句的點讀內容。

7.根據權利要求1或2所述的基于深度學習的書本點讀方法，其特征在于，當用戶的點讀需求為讀段時，從上到下組合多個文字框的文字內容，根據分段符號確定句子的開始和結束位置，確定文本段的點讀內容。

8.一種基于深度學習的書本點讀系統，其特征在于，包括：

圖像獲取模塊，獲取圖像采集裝置拍攝的手指點讀圖像；

指尖位置及文字檢測模塊，將所述手指點讀圖像同時輸入手指檢測模型及文字檢測模型，分別檢測指尖位置及圖像中所有的文字區域；

文字區域切割模塊，結合檢測的指尖位置和文字區域，對文字區域進行仿射變換，將文字區域進行切割；

文字識別模塊，切割后的文字區域輸入文字識別模型，識別出文字信息；

文字信息處理模塊，利用標點或分段符信息對所述文字信息進行斷句或分段處理；

語音輸出模塊，根據用戶預設的點讀需求，語音輸出單個漢字、單詞、句子或文本段。

9.一種計算機設備，其特征在于，包括：至少一個處理器，以及與所述至少一個處理器通信連接的存儲器，其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器執行權利要求1-7任一所述的基于深度學習的書本點讀方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機指令，所述計算機指令用于使所述計算機執行權利要求1-7任一所述的基于深度學習的書本點讀方法。