[發(fā)明專利]一種繪本識(shí)別方法、裝置及機(jī)器人

有效

• 申請(qǐng)?zhí)枺?/td>: 201911026013.5
• 申請(qǐng)日: 2019-10-25
• 公開（公告）號(hào): CN111222397B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設(shè)計(jì)）人: 顧景;李揚(yáng);王玥;劉傲;程駿;龐建新
• 申請(qǐng)（專利權(quán)）人: 深圳市優(yōu)必選科技股份有限公司
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/75
• 代理公司: 深圳中一聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 44414
• 代理人: 劉永康

本申請(qǐng)?zhí)峁┝艘环N繪本識(shí)別方法、裝置及機(jī)器人，適用于數(shù)據(jù)處理技術(shù)領(lǐng)域，該方法包括：獲取繪本的封面圖像并發(fā)送至服務(wù)器；若接收到服務(wù)器發(fā)送的內(nèi)頁特征數(shù)據(jù)集以及音頻集，獲取繪本的內(nèi)頁圖像，內(nèi)頁特征數(shù)據(jù)集和音頻集，是服務(wù)器在接收到封面圖像后，對(duì)封面圖像進(jìn)行繪本識(shí)別得到繪本標(biāo)識(shí)，并根據(jù)得到的繪本標(biāo)識(shí)在本地儲(chǔ)存中進(jìn)行內(nèi)頁特征數(shù)據(jù)集和音頻集調(diào)取得到的；基于內(nèi)頁特征數(shù)據(jù)集對(duì)內(nèi)頁圖像進(jìn)行頁碼識(shí)別，得到內(nèi)頁圖像的頁碼；從音頻集中查找頁碼對(duì)應(yīng)的音頻，并輸出音頻。本申請(qǐng)實(shí)施例內(nèi)頁識(shí)別的過程無需經(jīng)由過多的網(wǎng)絡(luò)交互，不存在網(wǎng)絡(luò)時(shí)延等影響，使得繪本識(shí)別的效率更高可靠性更強(qiáng)。

技術(shù)領(lǐng)域

本申請(qǐng)屬于圖像識(shí)別技術(shù)領(lǐng)域，尤其涉及繪本識(shí)別方法及機(jī)器人。

背景技術(shù)

繪本是指一類以繪畫為主并附有少量文字的書籍。繪本不僅可用于講故事、學(xué)知識(shí)，而且可以全面幫助孩子建構(gòu)精神，培養(yǎng)多元智能。

繪本識(shí)別是一種圖像檢索技術(shù)，為的是能夠準(zhǔn)確識(shí)別出用戶當(dāng)前翻閱的是哪一本繪本，以及具體是繪本中的哪一頁內(nèi)容，以保證后續(xù)對(duì)繪本內(nèi)容播報(bào)的準(zhǔn)確可靠。由于受限于本地機(jī)器人嵌入式設(shè)備的存儲(chǔ)、內(nèi)存、計(jì)算能力的影響，相關(guān)的技術(shù)都是在云端服務(wù)器做繪本封面和內(nèi)頁的識(shí)別，并由機(jī)器人在接收到服務(wù)器發(fā)送的內(nèi)頁對(duì)應(yīng)音頻之后，對(duì)音頻進(jìn)行播放，但這樣識(shí)別的效率、準(zhǔn)確性和可靠性都較低。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)實(shí)施例提供了一種繪本識(shí)別方法及機(jī)器人，可解決繪本識(shí)別效率和可靠性較低的問題。

本申請(qǐng)實(shí)施例的第一方面提供了一種繪本識(shí)別方法，包括：

獲取繪本的封面圖像并發(fā)送至服務(wù)器；

若接收到所述服務(wù)器發(fā)送的內(nèi)頁特征數(shù)據(jù)集以及音頻集，獲取所述繪本的內(nèi)頁圖像，所述內(nèi)頁特征數(shù)據(jù)集和所述音頻集，是所述服務(wù)器在接收到所述封面圖像后，對(duì)所述封面圖像進(jìn)行繪本識(shí)別得到繪本標(biāo)識(shí)，并根據(jù)得到的繪本標(biāo)識(shí)在本地儲(chǔ)存中進(jìn)行內(nèi)頁特征數(shù)據(jù)集和音頻集調(diào)取得到的；

基于所述內(nèi)頁特征數(shù)據(jù)集對(duì)所述內(nèi)頁圖像進(jìn)行頁碼識(shí)別，得到所述內(nèi)頁圖像的頁碼；

從所述音頻集中查找所述頁碼對(duì)應(yīng)的音頻，并輸出所述音頻。

在第一方面的第一種可能的實(shí)現(xiàn)方式中，所述獲取所述繪本的內(nèi)頁圖像，包括：

對(duì)所述繪本進(jìn)行翻頁識(shí)別；

若所述繪本被翻頁，獲取翻頁后所述繪本的內(nèi)頁圖像。

基于第一方面的第一種可能的實(shí)現(xiàn)方式，在第一方面的第二種可能的實(shí)現(xiàn)方式中，所述對(duì)所述繪本進(jìn)行翻頁識(shí)別，包括：

對(duì)所述繪本進(jìn)行實(shí)時(shí)視頻采集，并對(duì)采集的視頻進(jìn)行連續(xù)幀的圖像比對(duì)；

若連續(xù)兩幀圖像的差異度大于第一差異閾值，將所述繪本的狀態(tài)設(shè)置為第一狀態(tài)；

當(dāng)所述繪本的狀態(tài)為第一狀態(tài)時(shí)，對(duì)所述視頻進(jìn)行連續(xù)幀的圖像比對(duì)，并檢測(cè)所述視頻中最新一幀圖像的圖像質(zhì)量；

若連續(xù)n幀圖像中，相鄰幀圖像的差異度均小于第二差異閾值，且所述圖像質(zhì)量大于質(zhì)量閾值，則將所述繪本的狀態(tài)更新為第二狀態(tài)，并判定所述繪本被翻頁，其中，n為大于2的正整數(shù)，所述第一差異閾值大于或等于所述第二差異閾值。

基于第一方面的第一種和第二種可能的實(shí)現(xiàn)方式的實(shí)現(xiàn)方式，在第一方面的第三種可能的實(shí)現(xiàn)方式中，所述內(nèi)頁特征數(shù)據(jù)集中包含，對(duì)所述繪本內(nèi)各張內(nèi)頁的樣本圖像分別進(jìn)行透視變換，并對(duì)各張內(nèi)頁的樣本圖像以及透視變換得到的圖像進(jìn)行特征點(diǎn)提取后，得到的多組樣本特征點(diǎn)數(shù)據(jù)，以及每組所述樣本特征點(diǎn)數(shù)據(jù)對(duì)應(yīng)內(nèi)頁的頁碼，其中，每組所述樣本特征點(diǎn)數(shù)據(jù)中包含多個(gè)樣本特征點(diǎn)，且每張內(nèi)頁對(duì)應(yīng)多組所述樣本特征點(diǎn)數(shù)據(jù)，

所述基于所述內(nèi)頁特征數(shù)據(jù)集對(duì)所述內(nèi)頁圖像進(jìn)行頁碼識(shí)別，包括：