[發明專利]基于人工智能的繪本或教材的視覺識別方法及裝置

有效

• 申請號: 202010120108.X
• 申請日: 2020-02-26
• 公開（公告）號: CN111428569B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 俞曉君;賈志強
• 申請（專利權）人: 北京光年無限科技有限公司
• 主分類號: G06V30/42
• 分類號: G06V30/42;G06V30/413;G06V30/19
• 代理公司: 北京聿華聯合知識產權代理有限公司 11611
• 代理人: 朱繪;張文娟

1.一種基于人工智能的繪本或教材的視覺識別方法，其特征在于，所述方法包含以下步驟：

步驟一：采集待識別內容物圖像，對內頁圖像數據進行圖像識別；

步驟二：結合所述內頁圖像數據的清晰程度，判斷得到當前待識別內容物的類型，并進入對應的算法識別模式，其中，所述算法識別模式包含光學字符識別模式以及圖像特征識別模式；

步驟三：在對應的算法識別模式下，向用戶反饋多模態識別結果數據；

所述步驟一中還包含以下步驟：若未能檢測到當前圖像數據包含內頁圖像數據，則對當前圖像進行封面識別，認定當前圖像為圖書的封面，進行封面內容識別，識別封面上包含的文字內容；

所述步驟二中還包含以下步驟：確定所述內頁圖像數據的分辨率信息，與閾值信息進行比較，所述分辨率信息低于所述閾值信息時，確定所述待識別內容物為繪本圖書，進入圖像特征識別模式，對繪本圖書進行內頁識別；當所述分辨率信息高于所述閾值信息時，確定所述待識別內容物為教材圖書，進行光學字符識別，對教材圖書進行內頁識別。

2.如權利要求1所述的方法，其特征在于，所述步驟二之后還包含以下步驟：接收用戶輸出的語音交互數據，對所述語音交互數據進行語義理解處理，得到用戶的交互意圖。

3.如權利要求2所述的方法，其特征在于，所述步驟二之后還包含以下步驟：當檢測到手型輪廓時，進入指讀識別模式，基于所述手型輪廓指向位置的內容信息，結合所述交互意圖得到所述多模態識別結果數據。

4.如權利要求1-3中任一項所述的方法，其特征在于，所述方法還包括：

獲取當前用戶的身份特征信息，對當前用戶的用戶屬性進行判斷，確定當前用戶的類別，其中，用戶的類別包含：兒童用戶。

5.一種存儲介質，其包含用于執行如權利要求1-4中任一項所述的方法步驟的一系列指令。

6.一種基于人工智能的繪本或教材的視覺識別裝置，其特征在于，執行如權利要求1-4中任一項所述的方法，所述裝置包含：

第一模塊，其用于采集待識別內容物圖像，對內頁圖像數據進行圖像識別；

第二模塊，其用于結合所述內頁圖像數據的清晰程度，判斷得到當前待識別內容物的類型，并進入對應的算法識別模式，其中，所述算法識別模式包含光學字符識別模式以及圖像特征識別模式；

第三模塊，其用于在對應的算法識別模式下，向用戶反饋多模態識別結果數據。

7.一種兒童專用智能設備，其特征在于，用于執行如權利要求1-4中任一項所述的方法步驟的一系列指令。

8.一種基于人工智能的繪本或教材的視覺識別系統，其特征在于，所述系統包含：

如權利要求7所述的兒童專用智能設備；

待識別內容物；

云端服務器，其具備語義理解、視覺識別、認知計算以及情感計算，以決策所述兒童專用智能設備輸出多模態數據。