[發明專利]基于圖像識別追蹤技術的點讀指點件點擊判斷方法

在審

• 申請號: 201811237932.2
• 申請日: 2018-10-23
• 公開（公告）號: CN109445588A
• 公開（公告）日: 2019-03-08
• 發明（設計）人: 劉博;許炯;俞竣騰;柳清;儂繼澤
• 申請（專利權）人: 北京快樂認知科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0487;G09B5/06
• 代理公司: 武漢開元知識產權代理有限公司 42104
• 代理人: 胡鎮西;舒景景

本發明公開了一種基于圖像識別追蹤技術的點讀指點件點擊判斷方法，包括如下步驟：1)將點讀系統的攝像裝置固定于出版物上方；2)攝像裝置實時拍攝點讀指點件與出版物頁面，點讀系統實時計算點讀指點件的識別區域與出版物頁面在拍攝圖像中的實時面積比z；3)設置點讀指點件接近出版物到剛好觸發點擊的位置時，點讀指點件的識別區域與出版物頁面在拍攝圖像中的面積之比為z₁；4)若實時面積比z＞z₁，則點讀系統判定當前點讀指點件處于未點擊狀態；若z≤z₁，則點讀系統判定當前點讀指點件處于點擊狀態。該方法通過點讀指點件與頁面的面積比例變化來判斷高度，識別準確度高，無需識別深度信息，硬件成本較低。

技術領域

本發明涉及一種點讀指點件點擊判斷方法，特別是指一種基于圖像識別追蹤技術的點讀指點件點擊判斷方法。

背景技術

點讀筆是采用光學編碼識別技術和數碼語音技術開發而成的新一代智能閱讀和學習工具，能同時實現點讀、復讀、跟讀、錄音、娛樂等諸多功能。其技術原理是先將圖書上的內容通過OID進行編碼，并用特殊的印刷技術將編碼印刷到特制圖書上，然后用戶用點讀筆掃描圖書編碼就可以進行識別并播放相應語音。

申請號為201410398737.3的中國專利公開了一種點讀系統，該系統包括攝像裝置，位于臺燈正上方，用于對臺燈下的書本及用戶在書本上的手勢進行實時掃描；點讀裝置，用于識別書頁距離攝像頭的深度，并根據用戶在書本上的手勢和手指距離書本的深度信息確定點擊事件；將點擊事件預定區域內的文字圖像，進行圖像到文字的識別轉換；將識別轉換后的文字進行語音合成，并輸出到揚聲器裝置中；揚聲器裝置，用于進行語音播放。其中，點讀裝置設置有手勢識別和定位模塊，該模塊根據攝像裝置對臺燈下書本的掃描，動態生成平面坐標圖和平面坐標圖每一點上書本與攝像裝置之間的深度數據；根據每一點的深度數據設定該點上點擊事件產生的閾值范圍；根據攝像裝置對用戶在書本上手勢的掃描，確定用戶手指與書本之間的距離，將該距離與用戶手指所在位置上的閾值范圍相比較，如果在閾值范圍內，則確定點擊事件發生；根據點擊事件所在平面坐標圖的位置確定該點擊事件所在的平面坐標位置。

上述通過識別手指的深度信息來判斷點擊事件的方法對攝像裝置的要求較高；若采用單目攝像頭，深度識別的誤差很大，識別準確度不理想，難以滿足點讀要求；若采用雙目攝像頭，雖然對深度的識別準確度較高，但硬件成本也會增加。

發明內容

本發明的目的在于提供一種基于圖像識別追蹤技術的點讀指點件點擊判斷方法，該方法可采用常規單目攝像裝置，并且無需識別深度信息。

為實現上述目的，本發明所設計的基于圖像識別追蹤技術的點讀指點件點擊判斷方法，包括如下步驟：

1)將點讀系統的攝像裝置固定于待點讀的出版物上方；

2)在點讀過程中，攝像裝置實時拍攝點讀指點件與出版物頁面，點讀系統實時計算點讀指點件的識別區域與出版物頁面在拍攝圖像中的面積之比，記為實時面積比z；

3)設置點讀指點件接近出版物到剛好觸發點擊的位置時，點讀指點件識別區域與出版物頁面在拍攝圖像中的面積之比為臨界面積比z₁；

4)若實時面積比z＞z₁，則點讀系統判定當前點讀指點件處于未點擊狀態；若z≤z₁，則點讀系統判定當前點讀指點件處于點擊狀態。

可選地，所述出版物頁面在拍攝圖像中的面積采用出版物封面或封底在拍攝圖像中的面積進行計算。即在計算實時面積比z時，只需計算封面(或封底)在拍攝圖像中的面積，無需再計算其他頁面在拍攝圖像中的實時面積，從而簡化了計算。該方案的缺點是受出版物和攝像裝置的擺放位置影響較大，為提高準確度，最好在每次點讀前都拍攝封面(或封底)與點讀指點件在同一平面上的圖像并獲得二者的大小比例，同時在閱讀過程中盡量避免大幅度移動書本。