[發(fā)明專利]一種掃描搜題的方法、智能掃描筆及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111123325.5
• 申請日: 2021-09-24
• 公開（公告）號: CN113821712A
• 公開（公告）日: 2021-12-21
• 發(fā)明（設(shè)計）人: 劉占坤;王明明;孫飛虎;林晶;王巖;胡亞龍;胡彥宗;袁景偉;黃宇飛
• 申請（專利權(quán)）人: 作業(yè)幫教育科技（北京）有限公司
• 主分類號: G06F16/9532
• 分類號: G06F16/9532;G06F16/332;G06F16/58;G06K9/00;G09B7/02
• 代理公司: 北京中聯(lián)智道知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11963
• 代理人: 熊蒙

本發(fā)明公開了一種掃描搜題的方法、智能掃描筆及存儲介質(zhì)，所述掃描搜題的方法包括：獲取掃描試題過程中的掃描圖片；提取用于描述掃描圖片的圖像特征的特征向量；根據(jù)提取的特征向量在試題數(shù)據(jù)庫中進行檢索匹配，反饋搜題結(jié)果。本發(fā)明通過提取用于描述掃描圖片的圖像特征的特征向量，根據(jù)提取的特征向量在試題數(shù)據(jù)庫中進行檢索匹配實現(xiàn)掃描搜題，特征向量包括多個分別描述圖片的不同圖像特征，將各個特征向量分別在試題數(shù)據(jù)庫中進行檢索匹配，綜合各個特征向量的檢索匹配結(jié)果反饋搜題結(jié)果，實現(xiàn)了從多個維度對掃描圖片進行全方位檢索，提升了試題檢索的效率和準(zhǔn)確率；而且對于試題掃描的連續(xù)性要求也有所降低，提升了用戶的掃描搜題體驗。

技術(shù)領(lǐng)域

本發(fā)明涉及在線教育技術(shù)領(lǐng)域，具體的涉及一種掃描搜題的方法、智能掃描筆及存儲介質(zhì)。

背景技術(shù)

在線教育，通過互聯(lián)網(wǎng)平臺可以將優(yōu)質(zhì)教育資源進行共享，極大的方便用戶使用，降低教育成本。拍照搜題—一種應(yīng)用較為普遍的在線教育方式，用戶可以通過智能設(shè)備(如手機)進行試題拍照上傳，云服務(wù)器會根據(jù)上傳的試題照片進行解析、提取以及試題數(shù)據(jù)庫檢索等流程獲取相關(guān)的試題搜索結(jié)果，返回給用戶，可極大的方便用戶對于疑難試題的理解跟掌握。

相對于拍照搜題而言，借助于智能掃描筆實現(xiàn)的掃描搜題，由于無法將整個試題通過拍照的方式獲取試題圖片，只能通過智能掃描筆的掃描攝像頭逐行掃描完成后獲取整個試題，再進行試題的上傳與搜索。這使得用戶在掃描試題的操作過程中需要保持連貫性，且如果出現(xiàn)漏掃、重掃的情況，對于試題的搜索結(jié)果都會產(chǎn)生影響，導(dǎo)致試題搜索結(jié)果差距較大。這主要是因為現(xiàn)有的掃描搜題主要依靠針對掃描圖片進行OCR處理識別得到圖片字符，根據(jù)字符進行試題檢索，因此，掃描圖片的完整性以及準(zhǔn)確性對于試題搜索的結(jié)果產(chǎn)生較大的影響。

因此，如何降低用戶掃描搜題的操作難度，提升掃描搜題的準(zhǔn)確率，從而提升用戶的使用體驗是本發(fā)明所要解決的技術(shù)問題。

有鑒于此，特提出本發(fā)明。

發(fā)明內(nèi)容

本發(fā)明為了解決如何降低用戶掃描搜題的操作難度，提升掃描搜題的準(zhǔn)確率，提升用戶的使用體驗的技術(shù)問題，提供一種掃描搜題的方法、智能掃描筆及存儲介質(zhì)，具體技術(shù)方案如下：

本發(fā)明提出了一種掃描搜題的方法，包括：

獲取掃描試題過程中的掃描圖片；

提取用于描述掃描圖片的圖像特征的特征向量；

根據(jù)提取的特征向量在試題數(shù)據(jù)庫中進行檢索匹配，反饋搜題結(jié)果。

作為本發(fā)明的可選實施方式，所述提取用于描述掃描圖片的圖像特征的特征向量包括：

通過深度學(xué)習(xí)模型提取出掃描圖片的一組特征向量；

所述的特征向量用于描述掃描圖片的文字、圖像、符號的結(jié)構(gòu)化信息。

作為本發(fā)明的可選實施方式，所述根據(jù)提取的特征向量在試題數(shù)據(jù)庫中進行檢索匹配，反饋搜題結(jié)果包括：

根據(jù)提取的各特征向量的文字、圖像、符號的結(jié)構(gòu)化信息的分別與試題數(shù)據(jù)庫中存儲的試題的文字、圖像、符號的結(jié)構(gòu)化信息分別進行檢索匹配；

針對檢索匹配結(jié)果進行文字、圖像、符號的結(jié)構(gòu)化信息進行排序加權(quán)得到試題搜索結(jié)果。

作為本發(fā)明的可選實施方式，針對理科試題，符號的結(jié)構(gòu)化信息加權(quán)值大于文字、圖像的結(jié)構(gòu)化信息加權(quán)值；

針對文科試題，文字的結(jié)構(gòu)化信息加權(quán)值大于圖像、符號的結(jié)構(gòu)化信息加權(quán)值；

針對圖形試題，圖像的結(jié)構(gòu)化信息加權(quán)值大于文字、符號的結(jié)構(gòu)化信息加權(quán)值；

可選地，通過掃描過程中提取掃描圖片的圖像特征判斷試題所屬科目，或者通過掃描開始前接收用戶的試題科目設(shè)置指令判斷試題所屬科目。