[發(fā)明專利]一種基于圖像識(shí)別的聽寫輔助方法及家教設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201811515014.1
• 申請(qǐng)日: 2018-12-12
• 公開（公告）號(hào): CN109300347B
• 公開（公告）日: 2021-01-26
• 發(fā)明（設(shè)計(jì)）人: 崔穎
• 申請(qǐng)（專利權(quán)）人: 廣東小天才科技有限公司
• 主分類號(hào): G09B5/06
• 分類號(hào): G09B5/06;G06K9/00;G06K9/20;G06F16/635
• 代理公司: 廣州德科知識(shí)產(chǎn)權(quán)代理有限公司 44381
• 代理人: 萬振雄;楊中強(qiáng)

1.一種基于圖像識(shí)別的聽寫輔助方法，其特征在于，包括：

獲取目標(biāo)圖片，所述目標(biāo)圖片包含有用于提供給用戶聽寫的內(nèi)容信息；

通過圖像識(shí)別技術(shù)識(shí)別所述目標(biāo)圖片中的所述內(nèi)容信息，并從所述內(nèi)容信息中提取出文字信息；

根據(jù)所述文字信息生成待聽寫內(nèi)容；

以待處理任務(wù)的方式推送所述待聽寫內(nèi)容，并在用戶接受所述待處理任務(wù)時(shí)控制播放所述待聽寫內(nèi)容，以輔助用戶完成對(duì)所述待聽寫內(nèi)容的聽寫；

所述根據(jù)所述文字信息生成待聽寫內(nèi)容包括：

對(duì)所述文字信息進(jìn)行單元?jiǎng)澐郑垣@得至少一個(gè)文字單元，所述文字單元為單字、詞語、成語或句子；

對(duì)所述至少一個(gè)文字單元進(jìn)行排序組合，以獲得初始單元集合；

依次標(biāo)記所述初始單元集合中相鄰兩個(gè)所述文字單元之間的聽寫間隔時(shí)長(zhǎng)，以獲得中間單元集合；其中，所述聽寫間隔時(shí)長(zhǎng)以相鄰兩個(gè)所述文字單元中的在前文字單元的字?jǐn)?shù)為依據(jù)進(jìn)行設(shè)置；

從語音庫中提取語音模板；

基于所述語音模板依次將所述中間單元集合中的所述文字單元轉(zhuǎn)換成聽寫語音單元，以獲得語音單元集合，并根據(jù)所述聽寫間隔時(shí)長(zhǎng)對(duì)所述語音單元集合中的相鄰兩個(gè)所述聽寫語音單元進(jìn)行對(duì)應(yīng)標(biāo)記；

所述以待處理任務(wù)的方式推送所述待聽寫內(nèi)容，并在用戶接受所述待處理任務(wù)時(shí)控制播放所述待聽寫內(nèi)容，以輔助用戶完成對(duì)所述待聽寫內(nèi)容的聽寫，包括：

以待處理任務(wù)的方式推送所述語音單元集合，并在用戶接受所述待處理任務(wù)時(shí)基于所述聽寫間隔時(shí)長(zhǎng)控制播放所述語音單元集合中的所述聽寫語音單元，以輔助用戶完成對(duì)所述語音單元集合的聽寫。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取目標(biāo)圖片包括：

檢測(cè)家教設(shè)備接收到的聽寫任務(wù)通知，所述聽寫任務(wù)通知由與所述家教設(shè)備綁定的終端設(shè)備發(fā)送且至少包括目標(biāo)圖片及聽寫時(shí)間；

所述根據(jù)所述文字信息生成待聽寫內(nèi)容之后，所述方法還包括：

根據(jù)所述聽寫時(shí)間設(shè)置所述待聽寫內(nèi)容的推送時(shí)間點(diǎn)；

檢測(cè)當(dāng)前時(shí)間點(diǎn)是否滿足所述推送時(shí)間點(diǎn)；

當(dāng)所述當(dāng)前時(shí)間點(diǎn)滿足所述推送時(shí)間點(diǎn)時(shí)，控制所述家教設(shè)備內(nèi)置的攝像頭拍攝所述家教設(shè)備屏幕前方以獲得拍攝圖像；

通過圖像識(shí)別技術(shù)檢測(cè)是否從所述拍攝圖像中提取到人像區(qū)域；

當(dāng)檢測(cè)到所述人像區(qū)域時(shí)，識(shí)別所述人像區(qū)域所在人物對(duì)象的當(dāng)前姿態(tài)是否與預(yù)設(shè)姿態(tài)相適配；

當(dāng)所述人像區(qū)域所在人物對(duì)象的當(dāng)前姿態(tài)與所述預(yù)設(shè)姿態(tài)相適配，執(zhí)行所述以待處理任務(wù)的方式推送所述待聽寫內(nèi)容的步驟。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，當(dāng)所述人像區(qū)域所在人物對(duì)象的當(dāng)前姿態(tài)與所述預(yù)設(shè)姿態(tài)相適配，以及所述以待處理任務(wù)的方式推送所述待聽寫內(nèi)容之前，所述方法還包括：

從所述家教設(shè)備預(yù)存的人像信息中匹配所述人物對(duì)象；

當(dāng)匹配到所述人物對(duì)象時(shí)，獲取所述人物對(duì)象的賬號(hào)信息；

所述在用戶接受所述待處理任務(wù)時(shí)控制播放所述待聽寫內(nèi)容，以輔助用戶完成對(duì)所述待聽寫內(nèi)容的聽寫之后，所述方法還包括：

獲取用戶完成所述待聽寫內(nèi)容所獲得的聽寫得分；

將所述目標(biāo)圖片、所述聽寫得分以及所述賬號(hào)信息發(fā)送給所述終端設(shè)備，以使所述終端設(shè)備控制打開班級(jí)管理應(yīng)用客戶端并通過所述賬號(hào)信息登錄至所述班級(jí)管理應(yīng)用客戶端，以將所述目標(biāo)圖片與所述聽寫得分關(guān)聯(lián)記錄至所述班級(jí)管理應(yīng)用客戶端上。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述以待處理任務(wù)的方式推送所述待聽寫內(nèi)容，并在用戶接受所述待處理任務(wù)時(shí)控制播放所述待聽寫內(nèi)容，以輔助用戶完成對(duì)所述待聽寫內(nèi)容的聽寫，包括：

彈出任務(wù)推送窗口，所述任務(wù)推送窗口顯示有待處理任務(wù)的提示信息、聽寫確認(rèn)按鈕及聽寫拒絕按鈕，所述提示信息用戶提示用戶需要完成所述待處理任務(wù)推送的所述待聽寫內(nèi)容；

檢測(cè)用戶對(duì)所述任務(wù)推送窗口上的所述聽寫確認(rèn)按鈕的觸壓操作；

判斷所述觸壓操作對(duì)應(yīng)的觸壓壓力值是否大于或等于預(yù)設(shè)壓力值；

當(dāng)所述觸壓壓力值大于或者等于所述預(yù)設(shè)壓力值，確定用戶接受所述待處理任務(wù)，控制開始播放所述待聽寫內(nèi)容，以輔助用戶完成對(duì)所述待聽寫內(nèi)容的聽寫。