[發明專利]一種基于三維空間定位的搜索方法及家教設備

有效

• 申請號: 201910030731.3
• 申請日: 2019-01-14
• 公開（公告）號: CN109753554B
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 徐楊;饒盛添
• 申請（專利權）人: 廣東小天才科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06T17/00;G06K9/00
• 代理公司: 廣州德科知識產權代理有限公司 44381
• 代理人: 萬振雄;楊中強

1.一種基于三維空間定位的搜索方法，其特征在于，應用于家教設備，所述家教設備同一側面上設置有兩個攝像頭，所述攝像頭之間的距離滿足預設距離，所述攝像頭設置有人體紅外線透光裝置，且所述家教設備以預設方式放置時所述攝像頭對應有指定拍攝區域，所述指定拍攝區域是所述兩個攝像頭的視角相交的區域，所述指定拍攝區域用于放置練習教材，所述方法包括：

當用戶手部在所述練習教材當前頁面進行操作時，所述家教設備利用所述攝像頭的人體紅外線透光裝置檢測人體紅外線以獲得手部原始圖像數據；

所述家教設備以所述手部原始圖像數據為依據進行三維建模，生成手部三維位移數據，并根據所述手部三維位移數據定位所述用戶手部在所述練習教材的當前頁面上的操作位置；

當利用所述攝像頭的人體紅外線透光裝置未檢測到所述人體紅外線時，所述家教設備控制所述攝像頭拍攝所述練習教材的當前頁面，獲得當前頁面圖像；

所述家教設備從所述當前頁面圖像識別所述操作位置對應的教材內容；

所述家教設備以所述教材內容為搜索基礎進行搜索獲得參考答案。

2.根據權利要求1所述的方法，其特征在于，所述家教設備以所述手部原始圖像數據為依據進行三維建模，生成手部三維位移數據，并根據所述手部三維位移數據定位所述用戶手部在所述練習教材的當前頁面上的操作位置之后，所述方法還包括：

所述家教設備輸出提醒消息，所述提醒消息用于提醒將所述用戶手部從所述練習教材上移開；

所述家教設備利用所述攝像頭的人體紅外線透光裝置未檢測到所述人體紅外線時，確定已將所述用戶手部從所述練習教材上移開。

3.根據權利要求1或2所述的方法，其特征在于，當用戶手部在所述練習教材當前頁面進行操作時，所述家教設備利用所述攝像頭的人體紅外線透光裝置檢測人體紅外線以獲得手部原始圖像數據，包括：

當用戶手部在所述練習教材當前頁面進行操作時，所述家教設備利用其中一個所述攝像頭的人體紅外線透光裝置檢測人體紅外線以獲得第一手部原始圖像數據，以及利用另外一個所述攝像頭的人體紅外線透光裝置檢測人體紅外線以獲得第二手部原始圖像數據；

所述家教設備以所述手部原始圖像數據為依據進行三維建模，生成手部三維位移數據，并根據所述手部三維位移數據定位所述用戶手部在所述練習教材的當前頁面上的操作位置，包括：

所述家教設備對所述第一手部原始圖像數據進行圖像二值化處理獲得第一手勢圖像，及對所述第二手部原始圖像數據進行圖像二值化處理獲得第二手勢圖像；

所述家教設備對所述第一手勢圖像進行邊緣提取處理獲得第一邊緣圖像，及對所述第二手勢圖像進行邊緣提取處理獲得第二邊緣圖像；

所述家教設備以所述第一邊緣圖像和所述第二邊緣圖像為依據，對所述用戶手部在所述練習教材的當前頁面上進行二維手指坐標定位，獲得所述用戶手部的二維手指定位坐標；

所述家教設備將所述二維手指定位坐標轉換成三維手指定位坐標，根據所述三維手指定位坐標獲得所述用戶手部在所述練習教材的當前頁面上的操作位置。

4.根據權利要求1或2所述的方法，其特征在于，當用戶手部在所述練習教材當前頁面進行操作時，所述家教設備利用所述攝像頭的人體紅外線透光裝置檢測人體紅外線以獲得手部原始圖像數據之前，所述方法還包括：

所述家教設備檢測是否接收到搜題啟動指令；

所述家教設備在接收到所述搜題啟動指令后，檢測是否接收到問題詢問語音；

所述家教設備在接收到所述問題詢問語音時，則認定所述用戶手部在所述練習教材當前頁面進行操作，所述家教設備執行利用所述攝像頭的人體紅外線透光裝置檢測人體紅外線以獲得手部原始圖像數據的步驟。

5.根據權利要求4所述的方法，其特征在于，所述家教設備以所述教材內容為搜索基礎進行搜索獲得參考答案，包括：

所述家教設備以所述教材內容和所述問題詢問語音為依據，生成針對所述教材內容的目標問題，并搜索與所述目標問題相匹配的參考答案；

所述家教設備獲取所述參考答案的輸出類型，并以所述輸出類型對應的輸出方式輸出所述參考答案，所述輸出類型包括語音類型、文本類型、視頻類型或者圖像類型。