[發明專利]基于拍照識物的智能點讀方案

在審

• 申請號: 202010268840.1
• 申請日: 2020-04-08
• 公開（公告）號: CN111539408A
• 公開（公告）日: 2020-08-14
• 發明（設計）人: 王鵬
• 申請（專利權）人: 王鵬
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/34;G06N3/04;G06N3/08
• 代理公司: 北京盛凡智榮知識產權代理有限公司 11616
• 代理人: 胡文強

本發明公開了基于拍照識物的智能點讀方案，包括信號采集器、信號處理器、語音合成單元、人機交互端口，其特征在于：信號采集器是進行圖片采集，且信號采集器基于若干類型的設備設計軟件，信號處理器是完成圖像信號的分析處理，包括圖片定位、分割、識別，以及文本句子的生成，語音合成單元是將文本內容轉換為語音信號，人機交互端口包括用戶觸發界面或者開關以及音頻信號的輸出。本發明的基于拍照識物的智能點讀方案通過手持移動設備對目標區域進行拍照，對照片中的物體和文字進行定位、分割和識別，并生成特定語言的文字描述，具有很好的靈活性的特點。該專利技術的實施無需復雜的定制設備，用戶操作方便，簡捷易用。

技術領域

本發明涉及神經網絡以及AI識別技術，具體是指基于拍照識物的智能點讀方案。

背景技術

隨著AI技術的沉淀和5G的來臨，目前AI已經在很多領域得到廣泛的應用，比如在線教育和遠程醫療等場景，目前，基于深度神經網絡技術的圖像定位和識別已經比較成熟，其準確率可以達到99％以上，比如基于人臉識別的安檢系統已經達到實用水平，以及刷臉支付開始流行，因此基于圖像定位和識別的AI技術可以確保的穩健和高效，但是目前市場上的點讀設備都是結合繪本定制的，靈活性很差。

發明內容

本發明要解決的技術問題是，針對以上問題提供基于拍照識物的智能點讀方案。

為解決上述技術問題，本發明提供的技術方案為：基于拍照識物的智能點讀方案，包括信號采集器、信號處理器、語音合成單元、人機交互端口，其特征在于：所述的信號采集器是進行圖片采集，且信號采集器基于若干類型的設備設計軟件，所述的信號處理器是完成圖像信號的分析處理，包括圖片定位、分割、識別，以及文本句子的生成，所述的信號采集器、信號處理器組成圖片內容編輯和生成前端系統，所述的語音合成單元是將文本內容轉換為語音信號，所述的人機交互端口包括用戶觸發界面或者開關以及音頻信號的輸出，且人機交互端口內設有基于位置觸發的內容拼讀。

本發明與現有技術相比的優點在于：本發明的基于拍照識物的智能點讀方案通過手持移動設備對目標區域進行拍照，對照片中的物體和文字進行定位、分割和識別，并生成特定語言的文字描述。用戶通過觸摸屏點擊照片中的相應物體，即可自動使用特定的語言對所述的文字描述內容進行拼讀。此外，還可獲得相應的解釋、語義延伸、內容測試和童話搜索，以及基于聯想的圖片內容編輯和生成，提供了一種創新性的信息交互模式，適合幫助用戶對無法識別的物體和文字進行拼讀輔導和信息獲取，具有很好的靈活性的特點。該專利技術的實施無需復雜的定制設備，用戶操作方便，簡捷易用。

作為改進，所述的信號采集器基于若干類型的設備設計軟件，例如手持移動設備(比如智能手機，平板電腦，攝像機，錄像筆等)或者其他可穿戴設備(比如智能眼鏡)對目標區域進行拍照。

作為改進，所述的采集圖像的場景可以包括對真實的物體進行圖片采集，對書籍、文案內容進行圖片采集，以及虛擬現實中的圖片采集等。

作為改進，所述的信號處理器是完成圖像信號的分析處理，對所述采集到的圖片進行分析，包括對圖片中物體或者文字的定位、分割和識別等，

作為改進，所采用的技術實現算法包括但不限于通過訓練的深度神經網絡模型，比如RCNN，Faster-RCNN等對圖像內容進行End-to-End的分析。

作為改進，所述文本句子的生成通過已經得到圖片中物體的標簽和文字內容，依此為關鍵信息生成句子級別的文本描述，常用的模型有Attention-based model，GAN和Reinforcement Learning等。

作為改進，所述的基于位置觸發的內容拼讀對圖片中的物體和文字內容都完成了區域定位和識別理解，當用戶對相應位置點擊觸發時，即可按照預設的語言(比如英文)進行智能拼讀。該步驟基于語音合成技術(Text-to-Speech,TTS)進行實現,還可以訂制不同類型的聲色。