[發明專利]字符識別方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010900199.9
• 申請日: 2020-08-31
• 公開（公告）號: CN112036315A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 朱歟;郭國棟;伍天意
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市鑄成律師事務所 11313
• 代理人: 林軍;楊瑾瑾

1.一種字符識別方法，包括：

在從實時采集的第一幀圖像中識別到第一類手勢的情況下，基于第一模型從所述第一幀圖像之后實時采集的幀圖像中檢測指尖的當前位置信息；

基于所述指尖的當前位置信息更新所述指尖的當前軌跡數據；

基于第二模型對所述指尖的所述當前軌跡數據進行處理，得到目標字符。

2.根據權利要求1所述的方法，其中，所述基于第二模型對所述指尖的所述當前軌跡數據進行處理，得到目標字符，還包括：

若從實時采集的第二幀圖像中識別到第二類手勢，則基于第二模型對所述指尖的所述當前軌跡數據進行識別，得到目標字符。

3.根據權利要求1所述的方法，其中，所述基于第二模型對所述指尖的所述當前軌跡數據進行處理，得到目標字符，還包括：

基于第二模型對所述指尖的所述當前軌跡數據進行預測，得到當前軌跡數據對應的候選字符；

在展示界面中展示所述候選字符；

若從實時采集的第三幀圖像中識別到第三類手勢，則將從所述第三幀圖像中識別到的手部的區域位置所對應的候選字符作為所述目標字符。

4.根據權利要求1-3任一項所述的方法，其中，所述方法還包括：

基于第一模型從實時采集的幀圖像中識別手部的區域位置、手勢類型、指尖的位置信息中至少之一。

5.根據權利要求1-3任一項所述的方法，其中，所述方法還包括：

獲取第一類訓練數據；其中，所述第一類訓練數據中包含標注有手部的區域位置、手勢類型、指尖的位置信息的視頻的幀圖像；

基于所述第一類訓練數據對第一模型進行迭代訓練，得到迭代訓練后的第一模型。

6.根據權利要求1-3任一項所述的方法，其中，所述方法還包括：

獲取第二類訓練數據；其中，所述第二類訓練數據包括：標注有對應的字符的訓練視頻、以及所述訓練視頻中的幀圖像所對應的指尖的位置信息組成的軌跡數據；

采用所述第二類訓練數據對第二模型進行迭代訓練，得到迭代訓練后的第二模型。

7.一種字符識別裝置，包括：

第一識別模塊，用于在從實時采集的第一幀圖像中識別到第一類手勢的情況下，基于第一模型從所述第一幀圖像之后實時采集的幀圖像中檢測指尖的當前位置信息；基于所述指尖的當前位置信息更新所述指尖的當前軌跡數據；

第二識別模塊，用于基于第二模型對所述指尖的所述當前軌跡數據進行處理，得到目標字符。

8.根據權利要求7所述的裝置，其中，所述第二識別模塊，用于若從實時采集的第二幀圖像中識別到第二類手勢，則基于第二模型對所述指尖的所述當前軌跡數據進行識別，得到目標字符。

9.根據權利要求7所述的裝置，其中，所述第二識別模塊，用于基于第二模型對所述指尖的所述當前軌跡數據進行預測，得到當前軌跡數據對應的候選字符；在展示界面中展示所述候選字符；若從實時采集的第三幀圖像中識別到第三類手勢，則將從所述第三幀圖像中識別到的手部的區域位置所對應的候選字符作為所述目標字符。

10.根據權利要求7-9任一項所述的裝置，其中，所述第一識別模塊，用于基于第一模型從實時采集的幀圖像中識別手部的區域位置、手勢類型、指尖的位置信息中至少之一。

11.根據權利要求7-9任一項所述的裝置，其中，所述第一識別模塊，用于獲取第一類訓練數據；其中，所述第一類訓練數據中包含標注有手部的區域位置、手勢類型、指尖的位置信息的視頻的幀圖像；基于所述第一類訓練數據對第一模型進行迭代訓練，得到迭代訓練后的第一模型。