[發明專利]一種指讀方法、裝置、機器人、終端及計算機存儲介質

在審

• 申請號: 202011147163.4
• 申請日: 2020-10-23
• 公開（公告）號: CN112364718A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 羅輝
• 申請（專利權）人: 深圳市云希谷科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/18;G06K9/46;G06K9/62;G09B5/04
• 代理公司: 深圳市特訊知識產權代理事務所(普通合伙) 44653
• 代理人: 黃彧

1.一種指讀方法，其特征在于，包括：

獲取指讀圖像，所述指讀圖像包括內容正文、邊框花邊、章節節點和位置指示工具；

根據所述指讀圖像確定當前頁面信息、當前指讀章節；

獲取所述當前指讀章節對應的當前指讀章節語音并播放。

2.如權利要求1所述的指讀方法，其特征在于，所述根據所述指讀圖像確定當前頁面信息包括：

對所述指讀圖像進行掩碼處理，分別確定目標邊框花邊輪廓和目標章節節點輪廓；

根據所述目標邊框花邊輪廓確定透視后指讀圖像；

根據所述目標章節節點輪廓確定可疑圖片；

將所述透視后指讀圖像與所述可疑圖片進行SIFT特征比對，確定所述當前頁面信息。

3.如權利要求2所述的指讀方法，其特征在于，所述對所述指讀圖像進行掩碼處理，確定目標邊框花邊輪廓包括：

對所述指讀圖像進行掩碼處理，獲取多個初始輪廓掩碼；

對所述初始輪廓掩碼進行逼近處理，確定多個疑似邊框花邊輪廓；

將多個所述疑似邊框花邊輪廓進行聚類處理，確定目標邊框花邊輪廓。

4.如權利要求3所述的指讀方法，其特征在于，所述章節節點輪廓包括圓輪廓，所述對所述指讀圖像進行掩碼處理，確定目標章節節點輪廓包括：

確定所述目標邊框花邊輪廓的各頂點信息；

根據所述頂點信息對所述指讀圖像進行透視變換，生成透視后指讀圖像；

對所述透視后指讀圖像進行掩碼處理，生成透視圖像掩碼集合，并對所述透視圖像掩碼集合進行輪廓檢測，生成霍夫變換掩碼；

對所述霍夫變換掩碼進行霍夫圓檢測，獲取多個疑似章節節點輪廓；

對所述章節節點輪廓進行分類聚類，確定目標章節節點輪廓。

5.如權利要求4所述的指讀方法，其特征在于，所述根據所述目標邊框花邊輪廓確定透視后指讀圖像包括：

獲取包括所述目標邊框花邊輪廓的定位范圍，根據位于所述定位范圍之內的所述指讀圖像生成定位圖像；

根據所述頂點信息對所述定位圖像進行透視變換，生成透視后指讀圖像。

6.如權利要求5所述的指讀方法，其特征在于，所述邊框花邊的輪廓包括矩形，所述確定所述目標邊框花邊輪廓的各頂點信息包括：

從所述目標邊框花邊輪廓的四條輪廓邊中確定兩條或三條可靠輪廓邊；

對所述定位圖像進行掩碼處理，生成定位圖像掩碼，并對所述定位圖像掩碼進行圖片融合，確定二值掩碼；

對所述二值掩碼進行概率霍夫直線檢測，生成補全輪廓邊；

根據所述可靠輪廓邊和所述補全輪廓邊確定所述目標邊框花邊輪廓的各頂點信息。

7.如權利要求4所述的指讀方法，其特征在于，還包括以下至少之一：

所述根據所述目標章節節點輪廓確定可疑圖片包括，獲取各所述目標章節節點輪廓信息，確定章節節點編碼；根據所述章節節點編碼確定所述可疑圖片；

所述根據所述指讀圖像確定當前指讀章節包括，從所述透視圖像掩碼集合中確定顏色掩碼，并進行圖片融合，生成位置指示工具掩碼；根據所述位置指示工具掩碼確定所述位置指示工具的輪廓，并確定所述位置指示工具的輪廓距離頁面頂端最近的點作為指示位置；根據所述指示位置、所述當前頁面信息確定當前指讀章節。

8.一種指讀裝置，其特征在于，包括：

圖像獲取模塊，用于獲取指讀圖像，所述指讀圖像包括內容正文、邊框花邊、章節節點和位置指示工具；

確定模塊，用于根據所述指讀圖像確定當前頁面信息、當前指讀章節；

播放模塊，用于獲取所述當前指讀章節對應的當前指讀章節語音并播放。

9.一種指讀機器人，其特征在于，包括圖像采集設備、發聲設備和如權利要求8所述的指讀裝置，

所述圖像采集設備用于采集指讀圖像，并將所述指讀圖像發送給所述指讀裝置；

所述發聲設備用于播放所述指讀裝置反饋的當前指讀章節語音。