[發明專利]文字識別及處理的方法、裝置、介質以及電子設備

在審

• 申請號: 202010426896.5
• 申請日: 2020-05-20
• 公開（公告）號: CN111723811A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 潘永鋒
• 申請（專利權）人: 上海積跬教育科技有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06T7/73;G06F40/242;G06F40/58;G10L13/08
• 代理公司: 北京市盈科律師事務所 11344
• 代理人: 金冬冬

1.一種文字識別和處理的方法，其特征在于，所述方法包括如下步驟：

S1通過錄像設備將錄制的圖像逐幀傳遞至第一處理單元；

S2所述第一處理單元在接收所述每一幀圖像后進行手部或閱讀筆識別并記錄當前所述手部或閱讀筆的位置，同時與上一幀中的所述手部或閱讀筆位置進行比較，當連續至少3幀所述手部或閱讀筆位置與上一幀重疊面積大于90％時啟動第二處理單元；

S3所述第二處理單元啟動后，將啟動所述第二處理時所識別的這一幀圖像傳遞給第二處理單元，基于所述這一幀圖像，所述第二處理單元檢測并定位手部或閱讀筆的指尖或筆尖位置；所述第二處理單元以所述指尖或筆尖頂部為底部中點在所述這一幀圖像中截取256x256至640x640大小的文本分析圖像；

S4將所述文本分析圖像傳遞至OCR識別模塊進行文字識別，所述OCR識別模塊識別文字的同時識別文字的位置，所述識別文字的位置與所述指尖或筆尖的位置相匹配，將與所述指尖或筆尖的位置最近的識別文字信息傳入文字匹配模塊得出最接近的字典信息；

S5將所述最接近字典信息轉換為信號通過發聲設備發出相應語音信息。

2.如權利要求1所述的一種文字識別和處理的方法，其特征在于在所述S2步驟中識別出所述手部或閱讀筆的位置的同時將基于所述手部或閱讀筆位置，截取手部或閱讀筆圖像片段，在所述第二處理單元啟動時，代替S3步驟中所述啟動所述第二處理時所識別的這一幀圖像傳遞給第二處理單元。

3.如權利要求1所述的一種文字識別和處理的方法，其特征在于將所述文本分析圖像傳遞至OCR識別模塊進行文字識別時，將所述文本分析圖像中的文本信息采取了分塊識別文本信息策略，即先將所述文本分析圖像中的文本信息如英文字母或漢字或其他任意語言文字信息以最小可識別單元識別成獨立的小矩形塊，然后將所述獨立小矩形塊橫向連接起來進行文字識別。

4.如權利要求1所述的一種文字識別和處理方法，其特征在于所述文字匹配模塊可根據不同語言文字信息和語言文字難度等級錄入相應的字典信息，所述字典信息包括該語言文字的拼寫、發音，釋義，例句，或其他可以錄入的信息中的一種或幾種。

5.一種文字識別和處理裝置，其特征在于所述裝置包括：

錄像設備：用以將錄制的圖像逐幀傳遞至第一處理單元；

第一處理單元：接收所述每一幀圖像后進行手部或閱讀筆識別并記錄當前所述手部或閱讀筆的位置，同時與上一幀中的所述手部或閱讀筆位置進行比較，當連續至少3幀所述手部或閱讀筆位置與上一幀重疊面積大于90％時啟動第二處理單元；

第二處理單元：接收啟動所述第二處理時所識別的這一幀圖像并基于所述這一幀圖像檢測并定位手部或閱讀筆的指尖或筆尖位置；所述第二處理單元以所述指尖或筆尖頂部為底部中點在所述這一幀圖像中截取256x256至640x640大小的文本分析圖像；

OCR識別模塊：接收所述文本分析圖像并識別文字的，在識別文字的同時識別文字的位置，將所述識別文字的位置與所述指尖或筆尖的位置相匹配，將與所述指尖或筆尖的位置最近的識別文字信息傳入文字匹配模塊；

文字匹配模塊：接收所述最近的識別文字信息與內部字典信息匹配得出最接近的字典信息并將所述字典信息轉換為信號傳遞至發音設備；

和發音設備：接收所述文字匹配模塊傳遞的信號并發出相應的語音信息。

6.如權利要求5所述的一種文字識別和處理裝置，其特征在于在所述第一處理單元中識別出所述手部或閱讀筆的位置的同時將基于所述手部或閱讀筆位置，截取手部或閱讀筆圖像片段，在所述第二處理單元啟動時，代替所述啟動所述第二處理時所識別的這一幀圖像傳遞給第二處理單元。

7.如權利要求5所述的一種文字識別和處理裝置，其特征在于所述OCR識別模塊進行文字識別時，將所述文本分析圖像中的文本信息采取了分塊識別文本信息策略，即先將所述文本分析圖像中的文本信息如英文字母或漢字或其他任意語言文字信息以最小可識別單元識別成獨立的小矩形塊，然后將所述獨立小矩形塊橫向連接起來進行文字識別。