[發明專利]一種識別方法、裝置和電子設備

在審

• 申請號: 201811615801.3
• 申請日: 2018-12-27
• 公開（公告）號: CN111382598A
• 公開（公告）日: 2020-07-07
• 發明（設計）人: 辛曉哲;秦波;李瑞楠;孫博;王帥;黃海兵;李斌;陳偉
• 申請（專利權）人: 北京搜狗科技發展有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

1.一種識別方法，其特征在于，包括：

進入書寫狀態，從攝像頭采集的視頻圖像中獲取第一手部視頻圖像；

對所述第一手部視頻圖像進行圖像處理，獲取書寫手指的指尖位置信息并依據所述指尖位置信息在顯示屏上顯示書寫軌跡；

待書寫狀態結束后，依據所述指尖位置信息對書寫軌跡進行識別，得到對應的候選信息并展示。

2.根據權利要求1所述的方法，其特征在于，所述從攝像頭采集的視頻圖像中獲取第一手部視頻圖像，包括：

獲取攝像頭采集的視頻圖像，提取所述視頻圖像中手寫區域的圖像作為第一手部視頻圖像。

3.根據權利要求1所述的方法，其特征在于，所述對所述第一手部視頻圖像進行圖像處理，包括：

對第一手部視頻圖像進行預處理，得到第一預處理圖像；

依據所述第一預處理圖像，判斷所述第一手部視頻圖像中手部的手勢是否為書寫手勢；

若所述第一手部視頻圖像中手部的手勢為書寫手勢，則執行獲取書寫手指的指尖位置信息的步驟。

4.根據權利要求3所述的方法，其特征在于，所述對第一手部視頻圖像進行預處理，得到第一預處理圖像，包括：

采用高斯混合模型對所述第一手部視頻圖像進行背景減除，從所述第一手部視頻圖像中提取前景得到第一圖像；

采用所述膚色模型對所述第一圖像進行過濾，得到第二圖像；

對所述第二圖像進行形態學處理，得到第三圖像；

對所述第三圖像進行二值化處理，得到第一預處理圖像。

5.根據權利要求3所述的方法，其特征在于，所述依據所述第一預處理圖像，判斷所述第一手部視頻圖像中手部的手勢是否為書寫手勢，包括：

對所述第一預處理圖像進行輪廓檢測，確定所述第一預處理圖像中的手部輪廓；

對所述手部輪廓進行凸包檢測，確定凸出手指的個數和各凸出手指的指尖位置信息；

若所述凸出手指的個數與書寫手勢對應凸出手指的設定個數匹配，則確定所述第一手部視頻圖像中手部的手勢是書寫手勢。

6.根據權利要求3所述的方法，其特征在于，所述依據所述第一預處理圖像，判斷所述第一手部視頻圖像中手部的手勢是否為書寫手勢，包括：

將所述第一預處理圖像輸入至靜態手勢識別模型中，得到各手勢的概率分值，其中，所述手勢至少包括：開始書寫手勢、書寫手勢、選取手勢、刪除手勢和其他手勢；

若書寫手勢的概率分值最高，則確定所述第一手部視頻圖像中手部的手勢是書寫手勢。

7.根據權利要求5所述的方法，其特征在于，所述獲取書寫手指的指尖位置信息，包括：

將凸出手指的指尖位置信息確定為書寫手指的指尖位置信息。

8.一種識別裝置，其特征在于，包括：

獲取模塊，用于進入書寫狀態，從攝像頭采集的視頻圖像中獲取第一手部視頻圖像；

圖像處理模塊，用于對所述第一手部視頻圖像進行圖像處理，獲取書寫手指的指尖位置信息并依據所述指尖位置信息在顯示屏上顯示書寫軌跡；

識別模塊，用于待書寫狀態結束后，依據所述指尖位置信息對書寫軌跡進行識別，得到對應的候選信息并展示。

9.一種可讀存儲介質，其特征在于，當所述存儲介質中的指令由電子設備的處理器執行時，使得電子設備能夠執行如方法權利要求1-7任一所述的識別方法。

10.一種電子設備，其特征在于，包括有存儲器，以及一個或者一個以上的程序，其中一個或者一個以上程序存儲于存儲器中，且經配置以由一個或者一個以上處理器執行所述一個或者一個以上程序包含用于進行以下操作的指令：

進入書寫狀態，從攝像頭采集的視頻圖像中獲取第一手部視頻圖像；

對所述第一手部視頻圖像進行圖像處理，獲取書寫手指的指尖位置信息并依據所述指尖位置信息在顯示屏上顯示書寫軌跡；

待書寫狀態結束后，依據所述指尖位置信息對書寫軌跡進行識別，得到對應的候選信息并展示。